Spam filter - krok 4

Vytvořte 3 jednoduché neadaptivní filtry, paranoidní, naivní a náhodný, a u každého z nich určete, jak kvalitní predikce poskytuje.

Rozmyslete si a načrtněte na kus papíru:

• Jakým způsobem se spam filtr vlastně používá?
• Jaký je z hlediska implementace rozdíl mezi učicím se filtrem a filtrem, který se učit neumí?
• Existuje nějaká část, kterou budou mít všechny spam filtry společnou?
• Je lepší realizovat spam filtr jako funkci nebo jako objekt s vlastnostmi a metodami?
• Jaké jsou minimální požadavky na tuto realizaci? Co všechno by měla umět? Jaké musí mít vstupy a co musí být jejím výstupem?

Prostudujte si, jak v OOP funguje a jak se v Pythonu realizuje dědičnost. Informace najdete např.

• v oficiálním Python tutoriálu, nebo
• v [Wentworth2012], kapitola 23 (navazuje na kapitolu 22).

Úkoly:

• V modulu simplefilters.py vytvořte tři třídy představující tři hloupé filtry:
  • NaiveFilter, který bude všechny emaily klasifikovat jako OK,
  • ParanoidFilter, který bude všechny emaily klasifikovat jako SPAM, a
  • RandomFilter, který bude maily náhodně zařazovat do tříd OK a SPAM.
  • Mají-li tyto filtry nějaké části společné, zkuste tyto rysy extrahovat do společného předka BaseFilter v modulu basefilter.py.

K čemu nám to bude:

• Na jednoduchých filtrech si ukážeme základní kostru třídy představující v našem “frameworku” spamový filtr. Současně budeme mít k dispozici nějaké filtry, jejichž kvalitu si budeme moci otestovat pomocí funkcí z předchozího kroku.

Filtr pro nás bude představován třídou, která bude mít minimálně dvě metody: train() a test(). Filtry, které se nebudou učit z dat, budou mít metodu train() prázdnou. Další struktura třídy je libovolná.

Metoda train():

Metoda test():

Vytvořte jednoduchý skript, který vypočte kvalitu predikcí zvoleného filtru. Skript:

• importuje třídu zvoleného filtru,
• zavolá metodu train() na jedné poskytnuté datové sadě,
• zavolá metodu test() na druhé poskytnuté datové sadě,
• zavolá compute_quality_for_corpus() pro druhou datovou sadu,
• kvalitu vypíše,
• odstraní soubor !prediction.txt z datové sady.