Search
Máme dány dvojice ve tvaru $(x_i, f(x_i))$:$(0, 2.1), (1, 3.6), (2, 4.9), (3, 6.6), \dots$ Funkci $f$ budeme aproximovat funkcí ve tvaru $\hat f(x,{\bf w})= w_1x + w_0$. Nalezněte parametry $w_1, w_0$ tak, aby součet kvadrátů chyb aproximace byl minimální. Tedy minimalizujte $\sum_i (\hat f(x_i, {\bf w}) - f(x_i))^2$. Pro snadnější počítání můžete uvažovat pouze první tři dvojice.
Máme neznámý kostičkový svět a pouze víme, že má 3 neterminální stavy $\{-1, 0, 1\}$ a v každém neterminálním stavu je možné provést akce $\{0, 1\}$. Dále víme, že můžeme předpokládat Q funkci ve tvaru $\hat q(s,a, {\bf w})= w_1 a s +w_0 (1-a)$, kde $w_1, w_0 \in \mathbb{R}$. Agent vyzkoušel několik trénovacích epizod, zápis je níže v tabulce. Každý řádek v tabulce je n-tice $(S_t, A_t, S_{t+1}, R_{t+1})$.
Z trénovacích epizod určete parametry Q funkce $w_1, w_0$ (v případě použití stochastického gradientního sestupu uvažujte $\alpha=1$) a následně určete policy.
Začněte pracovat na úloze Posilované učení.