courses:b3b33kui:semestralni_ulohy:5_ml:hodnoceni [CourseWare Wiki]

Hodnocení

Úlohy Klasifikace znaků a Určení optimálního parametru klasifikátoru jsou hodnoceny zvlášť.

Klasifikace znaků

Klasifikátory jsou nejdříve v AE ohodnoceny jen z hlediska funkčnosti a otestovány na malém datasetu (max. 1 bod). Avšak hlavní ohodnocení (max. 8 bodů) proběhne až později v rámci “turnaje”, kdy se klasifikátory sběhnou na velkém datasetu.

Automatické otestování funkčnosti [0-1 bod]
Ohodnocení klasifikátoru podle nejbližšího souseda (k-NN) evaluačním systémem podle tabulky níže. [0–3 bodů]
Ohodnocení Bayesovského klasifikátoru za předpokladu nezávislosti podmíněných pravděpodobností evaluačním systémem podle tabulky níže: [0–5 bodů]
Kvalita kódu: [0–1 bod]

Použitý algoritmus řešení musí odpovídat algoritmu specifikovému v zadání. Pokud například bude za řešení naivního bayese vydáván kód k-NN, celá úloha může být ohodnocena nula body. V případě pochybností se zeptejte svého cvičícího.

V rámci otestování funkčnosti i podrobnějšího ohodnocení (“turnaj”) bude každý z algoritmů natrénován a otestován na dvou datasetech. Počty bodů získané za k-NN a Bayesovský klasifikátor (viz tabulky níže) na každém datasetu se sečtou. Celkový počet bodů je průměrem za oba datasety.

k-NN
správně klasifikováno	počet bodů
>95%	3
>80%	2
>60%	1
=<60%	0

Bayesovský klasifikátor
správně klasifikováno	počet bodů
>82%	5
>75%	4
>70%	3
>65%	2
>60%	1
>55%	0.5
=<55%	0