Stejně jako v celém předmětu RPH se cení především vaše snaha. S ní se nemusíte bát, že byste kvůli této úloze předmět neukončili. Úlohu budeme považovat za splněnou, pokud vyhoví kritériím, která jsou nastavena značně volně.
Rozpis hodnocení úlohy Spam filtr:
Hodnocený výkon | min | max | poznámka |
---|---|---|---|
sp_eval (Individuální úloha) | Termín odevzdání najdete v BRUTE!!! | ||
compute_quality_for_corpus | 4 | 4 | Funkce musí fungovat správně. |
sp_filt (Týmová úloha) | Termín odevzdání najdete v BRUTE!!! | ||
Filtr běží | 4 | 4 | Aplikujeme-li spam filtr na sadu dat, filtr poskytne predikce, nespadne, … Touto částí oceníme vaši schopnost zapsat v Pythonu jakýkoli (alespoň primitivní) spam filtr |
Filtr není triviální | 0 | 2 | Ocenění snahy o vytvoření alespoň trochu rozumného filtru. Nepatří sem filtry typu “vše je spam”, “vše je OK”, “rozhoduj se náhodně”. Patří sem filtry, které se např. rozhodují podle jednoduchého if-then pravidla. |
Složitější filtr | 0 | 2 | Např. kombinace více pravidel, … |
Filtr se umí učit | 0 | 3 | (+ plný počet bodů z předchozích kategorií hodnocení filtru) Filtr mění svůj model na základě vlastností trénovací sady dat. |
Čistota kódu | 0 | 4 | Vhodná jména objektů, funkcí, proměnných, konstant. Přehlednost, čitelnost, komentáře. |
Kvalita filtru | 0 | 12 | Viz níže. |
sp_prez (Týmová úloha) | Termín odevzdání najdete v BRUTE!!! | ||
Report | 0 | 2 | Povinný. 0 za nedostatečný report, 1 za dobrý report, 2 za výborný report |
Prezentace | 0 | 2 | Nepovinná, ale doporučená. 0 za nedostatečnou prezentaci, 1 za dobrou prezentaci, 2 za výbornou prezentaci. Podmínkou udělení bodů za prezentaci je předvedení prezentace na cvičení. |
Celkem | 4 | 35 |
Poslední složkou bodování je hodnocení kvality filtru. Filtr bude aplikován na 3 datové sady. Na každé z nich se určí skóre kvality filtru. Podle kvality filtru změřené na příslušné datové sadě bude následně udělen počet bodů:
q (Data 1) | q (Data 2 a 3) | body |
---|---|---|
<0, 0.3) | <0, 0.3) | 0 |
<0.3, 0.5) | <0.3, 0.4) | 1 |
<0.5, 0.7) | <0.4, 0.6) | 2 |
<0.7, 0.9) | <0.6, 0.8) | 3 |
<0.9, 1> | <0.8, 1> | 4 |
Je tedy možno získat až 4 body na každé ze 3 datových sad, tedy 12 bodů celkem.