Ladění vah neuronových sítí

Neuronové sítě, zejména ty hluboké, v posledních letech zažívají nebývalý rozmach. K jejich trénovaní se obvykle používá metoda gradientního sestupu (GD), přičemž výpočet gradientu vzhledem k vahám se provádí pomocí backpropagation (BP). Nedávno se objevily články, které tvrdí, že evoluční strategie mohou být při ladění vah NN podobně účinné jako GD+BP, viz např. https://openai.com/blog/evolution-strategies/, kde byly jednoduché ES použity v rámci učení posilováním. Cílem této úlohy je vyzkoušet ladění vah NN pomocí lokálních optimalizátorů a evolučních algoritmů na nějaké zajímavé úloze.

Tato úloha nemá přesně specifikované zadání. Součástí této úlohy je vytvořit specifické zadání ve stylu ostatních úloh a nechat si ho schválit učitelem!

Jsme si vědomi toho, že OpenAI v odkazovaném článku měla k dispozici velkou výpočetní sílu. Přestože při použití LO nebo EA pro ladění parametrů sítě není třeba používat BP (zpětný průchod sítí), ladění mnohavrstvé (hluboké) sítě může být pro EA značně obtížné kvůli obrovskému počtu laděných parametrů. Nicméně, není nutné tuto úlohu řešit v celé obecnosti. Můžete např.

zvolit méně náročný problém a jednodušší síť s menším počtem parametrů, nebo
vzít standardní hlubokou síť natrénovanou k řešení jisté úlohy a “přeladit” jen poslední vrstvy tak, aby tato síť řešila nějakou příbuznou úlohu.

Bylo by skvělé, kdyby z výsledků vzešlo porovnání GD+BP, lokálního optimalizátoru a evolučního algoritmu.