07 Reinforcement I

Model robota-agenta neznáme, chová se nějak podivně, cestu k cíli neznáme, po cestě navíc nějaké pasti, co s tím.

Výsledky učení

Po tomto cvičení student

rozumí, jaké informace má agent v úloze RL k dispozici;
odhaduje vlastnosti modelu prostředí (parametry MDP) z pozorovaných epizod přímou metodou.

Program

Kontrola výsledků turnaje Reversi. Hlaste podivnosti.
Odpovědi na dotazy.
Bonusový kvíz: náhodná procházka.
Odhad parametrů prostředí (MDP) na základě pozorovaných epizod.

Bonusový kvíz

tradiční kvíz, tentokrát na výpočet hodnot stavů při náhodné procházce

Úloha: Odhad policy z trénovacích epizod

vysvětlení na příkladu
bez bodového hodnoceni

1. Základní verze

Máme neznámý kostičkový svět, neznámé velikosti a struktury. Agent se pohybuje neznámýmí směry, s neznámými parametry. Agent vyzkoušel několik trénovacích epizod, zápis je níže v tabulce. Každý řádek v tabulce je n-tice $(s, a, s', r)$.

Episoda 1	Episoda 2	Episoda 3	Episoda 4
(B, →, C, -3)	(B, ←, A, -1)	(C, →, D, -3)	(C, ←, B, -1)
(C, →, D, -3)	(A, →, exit, 6)	(D, →, exit,6)	(B, →, C, -3)
(D, ←, exit, 6)			(C, ←, B, -1)
			(B, ←, A, -1)
			(A, ←, exit, 6)

Úkoly:

Jeví se svět deterministicky, nebo stochasticky?
Jak byste odhadli přechodový model?
Jak byste odhadli reward funkci?
Pro neterminální stavy určete optimální policy.

2. Rozšířená verze

Máme neznámý kostičkový svět, neznámé velikosti a struktury. Agent se pohybuje neznámýmí směry, s neznámými parametry. Agent vyzkoušel několik trénovacích epizod, zápis je níže v tabulce (Oproti základní variantě jsou přidány Episody 5-8). Každý řádek v tabulce je n-tice $(s, a, s', r)$.

Episoda 1	Episoda 2	Episoda 3	Episoda 4	Episoda 5	Episoda 6	Episoda 7	Episoda 8
(B, →, C,-3)	(B, ←, A, -1)	(C, →, D, -3)	(C, ←, B, -1)	(B, ←, C, -3)	(B, →, A, -1)	(C, →, B, -1)	(C, →, D, -3)
(C, → ,D, -3)	(A, →, exit, 6)	(D, →, exit, 6)	(B, →, C, -3)	(C, ←, B, -1)	(A, →, exit, 6)	(B, →, C, -3)	(D, →, exit, 6)
(D, ←, exit, 6)			(C, ←,B,-1)	(B, ←,A,-1)		(C, ←,D,-3)
			(B, ←, A, -1)	(A, ←, exit, 6)		(D, ←, exit, 6)
			(A, ←, exit, 6)