11 Bayesovské rozhodování II

Budeme dále pokračovat v Bayesovském rozhodování. Nyní však budeme oproti minulému cvičení uvažovat, že různá rozhodnutí mohou vést k různé ztrátě.

Po tomto cvičení student

• chápe Bayesovskou klasifikaci jako speciální případ Bayesovské rozhodovací úlohy;
• rozumí, co je matice záměn a co znamenají zkratky TP, FP, TN, FN;
• umí spočítat statistické míry odvozené z matice záměn jako TP rate, FP rate, precision, recall, atd.;
• umí vybrat vhodný klasifikátor pro určitý cíl.

• Odpovědi na dotazy
• Bonusový kvíz
• Úloha 1: Podivná ztrátová funkce pro klasifikaci
• Úloha 2: Recall and Precision
• Semestrální úloha - dotazy

• tradiční kvíz, tentokrát opět na Bayesovské rozhodování (odhad hodnoty mincí)

Uvažujme bayesovskou rozhodovací úlohu, ve které je množina stavů stejná jako množina rozhodnutí (tedy $S=D$) a ztrátová funkce je definována jako:
$l(s,d)=K, \ \ d = s$,
$l(s,d)=1, \ \ d \neq s$.
Jakých hodnot musí nabývat K, aby bylo možné k nalezení optimálního rozhodnutí použít $\delta^* (x) = \arg \max_d P(S=d|X=x)$?

Wikipedia:

• Binary classification
• Evaluation of Binary Classifiers
• Confusion matrix

Mějme 4 různé klasifikátory a jejich výsledky reprezentované pomocí matic záměn (confusion matrix):

$$ \begin{array}{cc} \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=20 & FP=3 \\ \hline \text{A} & FN=18 & TN=14 \\ \hline \end{array} & \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=60 & FP=80 \\ \hline \text{B} & FN=43 & TN=21 \\ \hline \end{array} \\ \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=13 & FP=14 \\ \hline \text{C} & FN=18 & TN=1 \\ \hline \end{array} & \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=14 & FP=16 \\ \hline \text{D} & FN=4 & TN=80 \\ \hline \end{array} \end{array} $$ Význam jednotlivých políček tabulek je true positive (TP), false positive (FP), false negative (FN), true negative (TN).

Odpovězte na následující otázky:

• Pro klasifikátor s tabulkou A napište počet příkladů (z tabulky) pro každou ze dvou tříd.
• Předpokládejme, že se jedná o tabulky klasifikátorů, které rozpoznávají přítomnost člověka před autonomním automobilem. Automobil na základě výstupu klasifikátoru zastavuje či pokračuje dále v cestě.
  • Který klasifikátor (A/B/C/D) bude nejméně často zbytečně zastavovat automobil? Je pro toto rozhodnutí relevantní recall nebo precision?
  • Který klasifikátor (A/B/C/D) je nejbezpečnější použít? Je pro toto rozhodnutí relevantní recall nebo precision?
  • Navrhněte nejjednodušší možný maximálně bezpečný klasifikátor. Je možné ho použít v praxi?

• pracovat na úlohách Strojové učení, Strojové učení: výběr klasifikátoru