13 Učení klasifikátorů II

Náplní tohoto cvičení je pokračování v metodách klasifikace v případě neznámého pravděpodobnostního modelu dat. Budeme se věnovat lineárnímu klasifikátoru.

• quizz
• semestrální úlohy - dotazy

Další možností jak se vyhnout odhadování a reprezentaci pravděpodobností, je konstruovat přímo diskriminační funkce ve tvaru:

$$g_s(\vec{x})=\vec{w}_s^{\top}\vec{x}+b_s$$

kde $\vec{w}_s$ je vektor vah a skalár $b_s$ je posunutí na ose y . Objekt $\vec{x}$ je zařazen do takové třídy $s$, jejíž hodnota diskriminační funkce $g_s(\vec{x})$ je vyšší než všech ostatních tříd. Úloha učení klasifikátoru se pak mění na optimalizační úlohu, kde hledáme takové parametry lineárních diskriminačních funkcí, které minimalizují nějaké kritérium, např. počet chybných rozhodnutí na trénovací multimnožině.

Lze pro trénovací multimnožinu na obrázku 1 dosáhnout lineárním klasifikátorem nulové trénovací chyby? Pokud ano, nakreslete, jak může vypadat rozdělení příznakového prostoru lineárním klasifikátorem tak, aby byla nulová trénovací chyba.

Obrázek 1: Trénovací multimnožina v příznakovém prostoru dimenze 2 a pro 4 třídy.