Klasifikátory jsou nejdříve v AE ohodnoceny jen z hlediska funkčnosti a otestovány na malém datasetu (max. 1 bod). Avšak hlavní ohodnocení (max. 8 bodů) proběhne až později v rámci “turnaje”, kdy se klasifikátory sběhnou na velkém datasetu.
Automatické otestování funkčnosti [0-1 bod]
Ohodnocení klasifikátoru podle nejbližšího souseda (k-NN) evaluačním systémem podle tabulky níže. [0–3 bodů]
Ohodnocení Bayesovského klasifikátoru za předpokladu nezávislosti podmíněných pravděpodobností evaluačním systémem podle tabulky níže: [0–5 bodů]
Kvalita kódu: [0–1 bod]
Použitý algoritmus řešení musí odpovídat algoritmu specifikovému v zadání. Pokud například bude za řešení naivního bayese vydáván kód k-NN, celá úloha může být ohodnocena nula body. V případě pochybností se zeptejte svého cvičícího.
V rámci otestování funkčnosti i podrobnějšího ohodnocení (“turnaj”) bude každý z algoritmů natrénován a otestován na dvou datasetech. Počty bodů získané za k-NN a Bayesovský klasifikátor (viz tabulky níže) na každém datasetu se sečtou. Celkový počet bodů je průměrem za oba datasety.
| k-NN | |
| správně klasifikováno | počet bodů |
| >95% | 3 |
| >80% | 2 |
| >60% | 1 |
| =<60% | 0 |
| Bayesovský klasifikátor | |
| správně klasifikováno | počet bodů |
| >82% | 5 |
| >75% | 4 |
| >70% | 3 |
| >65% | 2 |
| >60% | 1 |
| >55% | 0.5 |
| =<55% | 0 |