Spam filter - krok 1

Budeme vytvářet funkci, která bude umět načíst údaje ze souborů !truth.txt nebo !prediction.txt do datové struktury typu dictionary.

1. Práce s datovou strukturou dictionary (viz [Pilgrim2009], kapitola 2.7, nebo [Wentworth2012], kapitola 20)
   • Zopakovat: vytvoření prázdného slovníku, přidání páru klíč-hodnota, zjištění hodnoty pro klíč
   • Vyzkoušejte si procházení položek slovníku pomocí metody items():

     eng_to_cz = {'cat': 'kocka', 'dog': 'pes', 'house': 'dum' }
     for eng, cz in eng_to_cz.items():
         print(eng, ',', cz)

2. Zopakujte si použití sekce

   if __name__ == "__main__":

   (viz [Pilgrim2009], kapitola 1.10).
3. Práce se soubory (viz [Pilgrim2009], kapitola 11, nebo [Wentworth2012], kapitola 13 - Ale pozor! Zde autoři zapomínají specifikovat kódování souboru!)
   • Otevření a uzavření textového souboru
   • Použití příkazu with
   • Čtení ze souboru (po řádcích)
   • Načtení celého obsahu souboru do 1 řetězce
4. Metoda split() řetězcových proměnných (viz dokumentace k str.split())

Úkol:

• V modulu utils.py vytvořte funkci read_classification_from_file pro načtení klasifikace mailů z textového souboru

K čemu nám to bude:

• Funkci read_classification_from_file budeme potřebovat při učení filtru (pokud jej budeme učit) a při hodnocení úspěšnosti filtrů.

Funkce read_classification_from_file (v modulu utils.py):

Funkce načte textový soubor, v němž jsou na řádku vždy 2 řetězce oddělené mezerou,

email01.txt OK
email02.msg OK
email03.txt SPAM
email1234.txt OK
...

{'email1234.txt': 'OK', 'email03.txt': 'SPAM', 'email02.msg': 'OK', 'email01.txt': 'OK'}

Bude-li soubor prázdný, funkce vrátí prázdný slovník.

Tip: pravděpodobně se vám bude hodit i inverzní funkce, tedy funkce pro zápis klasifikace uložené ve slovníku do souboru na disku. Toto v tuto chvíli ponecháváme jako dobrovolný DÚ.