Spam filter - krok 3

Vytvořte sadu tříd a funkcí potřebných k posouzení kvality filtru.

Prostudujte si:

• V článku Binary Classification najděte a pochopte význam zkratek TP, FP, TN, FN.

Na kus papíru napište:

• co podle vás tyto zkratky znamenají pro problém filtrování spamu
• co budeme potřebovat, abychom tyto statistiky mohli napočítat

Úkol:

• V modulu confmat.py vytvořte třídu BinaryConfusionMatrix.
• Třída bude obalovat čtveřici statistik TP, TN, FP, FN nutných pro hodnocení filtru.
• Při vytváření třídy bude nutné specifikovat parametry pos_tag a neg_tag, tedy jaké hodnoty se mají považovat za pozitivní a jaké za negativní (bude tedy použitelná obecně, nikoli jen pro kódy 'SPAM' a 'OK').
• Při testování spam filtru bude pos_tag=“SPAM” a neg_tag=“OK”
• Po vytvoření instance budou všechny čtyři hodnoty nastaveny na 0.
• Třída bude mít metodu as_dict(), která vrátí matici záměn ve formě slovníku s položkami tp, tn, fp, fn.
• Třída bude mít metodu update(truth, prediction), která zvýší hodnotu příslušného čítače (TP, TN, FP, nebo FN) o 1 na základě porovnání hodnot proměnných truth a prediction s hodnotami pos_tag a neg_tag. Bude-li hodnota některého z parametrů truth nebo prediction různá od pos_tag i neg_tag, metoda vyhodí výjimku ValueError.
• Třída bude mít metodu compute_from_dicts(truth_dict, pred_dict), která napočítá statistiky TP, TN, FP a FN ze dvou slovníků: v prvním bude správná klasifikace emailů, ve druhém klasifikace emailů predikovaná filtrem.

K čemu nám to bude:

• Třída BinaryConfusionMatrix bude tvořit základ pro hodnocení úspěšnosti filtru.
• Třídu bude možno používat následujícim způsobem:

      >>> cm1 = BinaryConfusionMatrix(pos_tag=True, neg_tag=False)
      >>> cm1.as_dict()
      {'tp': 0, 'tn': 0, 'fp': 0, 'fn': 0}
      >>> cm1.update(True, True)
      >>> cm1.as_dict()
      {'tp': 1, 'tn': 0, 'fp': 0, 'fn': 0}

      >>> truth_dict = {'em1': 'SPAM', 'em2': 'SPAM', 'em3': 'OK', 'em4':'OK'}
      >>> pred_dict = {'em1': 'SPAM', 'em2': 'OK', 'em3': 'OK', 'em4':'SPAM'}
      >>> cm2 = BinaryConfusionMatrix(pos_tag='SPAM', neg_tag='OK')
      >>> cm2.compute_from_dicts(truth_dict, pred_dict)
      >>> cm2.as_dict()
      {'tp': 1, 'tn': 1, 'fp': 1, 'fn': 1}

Třída tedy bude mit alespoň 3 veřejné metody: as_dict(), update() a compute_from_dicts().

Pozn.: Můžete očekávat, že slovníky budou mít stejnou množinu klíčů. Rozmyslete si ale, jak byste chtěli, aby se metoda chovala v případě, že bychom jí předali slovníky s různými množinami klíčů.

Úkol:

• Vytvořte funkci quality_score(tp, tn, fp, fn) v modulu quality.py.
• Funkce spočte skóre kvality, které jsme si definovali na cvičení, z předaných hodnot matice záměn.

Úkol:

• V modulu quality.py vytvořte funkci compute_quality_for_corpus(corpus_dir), která ohodnotí kvalitu predikcí (filtru) na základě údajů v souborech !truth.txt a !prediction.txt v zadaném korpusu.
• Skutečnou i predikovanou klasifikaci umíte načíst ve formě slovníků pomocí read_classification_from_file().
• Matici záměn pro daný korpus z načtených slovníků umíte vytvořit pomocí metody compute_from_dicts() třídy BinaryConfusionMatrix.
• Skóre kvality z prvků matice záměn umíte spočítat funkcí quality_score().

K čemu nám to bude:

• Funkce bude sloužit k hodnocení úspěšnosti filtru.
• unit test k této funkci přepokládá nastavení pos_tag=“SPAM” a neg_tag=“OK”, které odpovídá finálnímu spam filtru.