06 Sequential II

Pokračujeme v sekvenčním rozhodování. Jak počítat vhodnou policy přímo?

Po tomto cvičení student

• ohodnotí strategii, tj. vypočte hodnoty stavů pro danou strategii;
• extrahuje strategii pro dané ohodnocení stavů;
• vypočítá hodnoty stavů pro optimální strategii v jednoduchých prostředích pomocí iterace hodnot i pomocí iterace strategie;
• rozumí souvislosti hodnotami stavů a hodnot q-stavů.

• Diskuse bonusového kvízu z minulého týdne (pravděpodobnost dosažení cílového stavu).
• Hledání optimální strategie pomocí iterace hodnot a iterace strategie.
• Zadání bonusového kvízu pro příští týden (policy evaluation).

• Ohodnocení strategie (policy evaluation)
• Ukázka zadání. Konkrétní zadání dostanete na cvičení.

• vysvětlení na příkladu

Najděte optimální policy.

• iterovat: aktualizovat hodnoty $V(s)$ dokud se významně mění (více než $\epsilon \cdot (1-\gamma)/\gamma$)
• určit nejlepší strategii $\pi(s) = \rm{argmax}_a [r(s) + \gamma \rm{max}_a\it{\sum_{s'}p(s'|s,a)V_k(s')}\rm{]}$

• iterovat: 2 kroky
  • policy evaluation:
    • ohodnocení stavů podle dané policy
    • $V_{k+1}^{\pi_i}(s) \leftarrow r(s) + \gamma \sum_{s'}p(s'|s,\pi_i(s))V_k(s')$
    • iteračně nebo analyticky
  • policy refinement:
    • z nových hodnot stavů určit (lepší) policy
• dokud dochází ke změně policy

• Pokračujte v samostatné úloze Markovské rozhodovací procesy.
• Dobrovolný úkol: Implementace testů pro ověření správnosti specifikace.