Pokračujeme v sekvenčním rozhodování. Jak počítat vhodnou policy přímo?

Zadání

• vysvětlení na příkladu

Najděte optimální policy.

• iterovat: aktualizovat hodnoty $V(s)$ dokud se mění o více než zadané $\epsilon$
• určit nejlepší strategii $\pi(s) = \rm{argmax}_a V(s)$

• iterovat: 2 kroky
  • policy evaluation:
    • ohodnocení stavů podle dané policy
    • $V_{k+1}^{\pi_i}(s) \leftarrow r(s) + \gamma \sum_{s'}p(s'|s,\pi_i(s))V_k(s')$
    • iteračně nebo analyticky
  • policy refinement:
    • z nových hodnot stavů určit (lepší) policy
• dokud dochází ke změně policy

Pokračování v samostatné úloze Markovské rozhodovací procesy.

Implementace testů pro ověření správnosti specifikace.