11 Bayesovské rozhodování II

Budeme dále pokračovat v Bayesovském rozhodování. Nyní však budeme oproti minulému cvičení uvažovat, že různá rozhodnutí mohou vést k různé ztrátě.

• Kvízy
• semestrální úloha - dotazy

• tradiční kvíz, tentokrát opět na Bayesovské rozhodování

• vysvětlení na příkladech
• příklad I: zvláštní ztrátová funkce
• příklad II: recall and precision
• bez bodového hodnocení

Uvažujme bayesovskou rozhodovací úlohu, ve které je množina stavů stejná jako množina rozhodnutí (tedy $S=D$) a ztrátová funkce je definována jako:
$l(s,d)=K, \ \ d = s$,
$l(s,d)=1, \ \ d \neq s$.
Jakých hodnot musí nabývat K, aby bylo možné k nalezení optimálního rozhodnutí použít $\delta^* (x) = \arg \max_d P(d|x)$?

Mějme 4 různé klasifikátory a jejich výsledky reprezentované pomocí matic záměn (confusion matrix):

$$ \begin{array}{cc} \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=20 & FP=3 \\ \hline \text{A} & FN=18 & TN=14 \\ \hline \end{array} & \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=60 & FP=80 \\ \hline \text{B} & FN=43 & TN=21 \\ \hline \end{array} \\ \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=13 & FP=14 \\ \hline \text{C} & FN=18 & TN=1 \\ \hline \end{array} & \begin{array}{|c|c|c|} \hline \text{klasifikátor} & TP=14 & FP=16 \\ \hline \text{D} & FN=4 & TN=80 \\ \hline \end{array} \end{array} $$ Význam jednotlivých políček tabulek je true positive (TP), false positive (FP), false negative (FN), true negative (TN).

Odpovězte na následující otázky:

• Pro klasifikátor s tabulkou A napište počet příkladů (z tabulky) pro každou ze dvou tříd.
• Předpokládejme, že se jedná o tabulky klasifikátorů, které rozpoznávají přítomnost člověka před autonomním automobilem. Automobil na základě výstupu klasifikátoru zastavuje či pokračuje dále v cestě.
  • Který klasifikátor (A/B/C/D) bude nejméně často zbytečně zastavovat automobil? Je pro toto rozhodnutí relevantní recall nebo precision?
  • Který klasifikátor (A/B/C/D) je nejbezpečnější použít? Je pro toto rozhodnutí relevantní recall nebo precision?
  • Navrhněte nejjednodušší možný maximálně bezpečný klasifikátor. Je možné ho použít v praxi?

• pracovat na úlohách Strojové učení, Strojové učení: výběr klasifikátoru