12 Učení klasifikátorů I

V tomto cvičení se budeme zabývat metodami klasifikace pro případ, že neznáme pravděpodobnostní model dat. Zvláště se budeme věnovat porovnávání naučených klasifikátorů.

Po tomto cvičení student

• rozumí pojmu diskriminační funkce a ví, jak ji využít pro konstrukci klasifikátoru (rozhodovací strategie);
• pro malé nízkorozměrné datové sady umí definovat lineární diskriminační funkci oddělující 2 třídy;
• chápe pojmy nedoučení (underfitting) a přeučení (overfitting) a ví, proč je přeučení nežádoucí fenomén.

• Odpovědi na dotazy
• Bonusový kvíz
• Úloha 1: Lineární diskriminační funkce
• Úloha 2: Přeučení
• Semestrální úloha - dotazy (zvláště k druhé části ML úlohy)

• tradiční kvíz, tentokrát na lineární klasifikátor

Uvažujme problém klasifikace do dvou tříd a dvoudimenzionální prostor příznaků ${\bf x} = [x_1, x_2]^T$. Pro jednotlivé třídy máme následující data:

• $+$: $\{[-1, 3]^T,[2, 2]^T,[4, 5]^T\}$
• $\circ$: $\{[2, -1]^T,[4, 2]^T,[5, 2]^T\}$

Zkuste odpovědět na následující otázky:

• Jsou data lineárně separovatelná?
• Kolik existuje lineárních rozhodovacích hranic s nulovou chybou?
• Zkuste vymyslet diskriminační funkci, která bude klasifikovat data bezchybně podle znaménka výsledku. Diskriminační funkci uvažujte lineární (afinní) ve tvaru: $f({\bf x}) = {\bf w}^T {\bf x} + w_0$ a rozhodujete se pro třídu podle $s = \rm{sign}(f({\bf x}))$.
• Nyní zkuste vymyslet pro každou třídu vlastní diskriminační funkci tak, aby se rozhodovalo podle $s^∗ = \arg \max_{s\in S} f_s({\bf x})$. Diskriminační funkce uvažujte i nadále lineární ve tvaru $f({\bf x}) = {\bf w}^T {\bf x} + w_0$.
• Co kdybychom mezi trénovací příklady třídy $\circ$ přidali bod $[-3,3]^T$. Lze nyní (nějak) data bezchybně klasifikovat? Jak?

Co to je a proč je to problém? Diskuze nad příklady.

• pracovat na úlohách Strojové učení, Strojové učení: výběr klasifikátoru