Differences

This shows you the differences between two versions of the page.

--- courses:b3b33kui:cviceni:program_po_tydnech:tyden_11 [2019/05/06 09:48]
+++ courses:b3b33kui:cviceni:program_po_tydnech:tyden_11 [2024/05/03 09:22]
xposik [Recall and Precision]
@@ Line 1: / Line 1: @@
+====== 11 Bayesovské rozhodování II ======
+Budeme dále pokračovat v Bayesovském rozhodování. Nyní však budeme oproti minulému cvičení uvažovat, že různá rozhodnutí mohou vést k různé ztrátě.
+    * Kvízy
+    * semestrální úloha - dotazy
+===== Kvíz I - Bayesovské rozhodování: mince =====
+  * tradiční kvíz, tentokrát opět na Bayesovské rozhodování
+> {{page>courses:b3b33kui:internal:quizzes#Bayesovské rozhodování - mince}}
+/*
+  * bodovaný, bonusových 0.5bodu
+  * řešení odevzdat do BRUTE do úlohy **lab11quiz**, do půlnoci dne, kdy běží dané cvičení
+  * formát: textový soubor, fotka řešení na papíře, pdf - co Vám nejlépe vyhovuje a dokážeme to přečíst
+  * správné řešení prodiskutujeme na příštím cvičení
+*/
+/*
+==== Zadání kvíz I ====
+  * p. 101, St 12:45: {{ :courses:b3b33kui:cviceni:program_po_tydnech:20210428-082441_bayesdecisionscoins_cv101.pdf | cv101}}
+  * p. 102, St 14:30: {{ :courses:b3b33kui:cviceni:program_po_tydnech:20210428-082732_bayesdecisionscoins_cv102.pdf | cv102}}
+  * p. 103, Čt 12:45: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayes_coins_p103_cz.pdf |cv103}}
+  * p. 104, Čt 14:30: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayesdecisionscoins_104.pdf |cv104}}
+  * p. 105, Pá 9:15: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayes_coins_p105_cz.pdf |cv105}}
+*/
+===== Kvíz II =====
+  * vysvětlení na příkladech
+  * příklad I: zvláštní ztrátová funkce
+  * příklad II: recall and precision
+  * bez bodového hodnocení
+/*
+  * prezentace {{ :courses:b3b33kui:cviceni:program_po_tydnech:strange_loss_function.pdf | Strange_loss_function.pdf}}
+*/
+==== Podivná ztrátová funkce pro klasifikaci ====
+Uvažujme bayesovskou rozhodovací úlohu, ve které je množina stavů stejná jako množina rozhodnutí (tedy $S=D$) a ztrátová funkce je definována jako: \\
+$l(s,d)=K, \ \ d = s$,\\
+$l(s,d)=1, \ \ d \neq s$.\\
+Jakých hodnot musí nabývat K, aby bylo možné k nalezení optimálního rozhodnutí použít
+$\delta^* (x) = \arg \max_d P(d|x)$?
+> {{page>courses:b3b33kui:internal:quizzes#Podivná ztrátová funkce pro klasifikaci - řešení&noheader}}
+==== Recall and Precision ====
+Wikipedia:
+  * [[https://en.wikipedia.org/wiki/Binary_classification|Binary classification]]
+  * [[https://en.wikipedia.org/wiki/Evaluation_of_binary_classifiers|Evaluation of Binary Classifiers]]
+Mějme 4 různé klasifikátory a jejich výsledky reprezentované pomocí matic záměn (confusion matrix):
+$$
+\begin{array}{cc}
+\begin{array}{|c|c|c|}
+\hline
+\text{klasifikátor} & TP=20 & FP=3  \\
+\hline
+\text{A} & FN=18 & TN=14  \\
+\hline
+\end{array}
+&
+\begin{array}{|c|c|c|}
+\hline
+\text{klasifikátor} & TP=60 & FP=80  \\
+\hline
+\text{B} & FN=43 & TN=21  \\
+\hline
+\end{array}
+\\
+\begin{array}{|c|c|c|}
+\hline
+\text{klasifikátor} & TP=13 & FP=14  \\
+\hline
+\text{C} & FN=18 & TN=1  \\
+\hline
+\end{array}
+&
+\begin{array}{|c|c|c|}
+\hline
+\text{klasifikátor} & TP=14 & FP=16  \\
+\hline
+\text{D} & FN=4 & TN=80  \\
+\hline
+\end{array}
+\end{array}
+$$
+Význam jednotlivých políček tabulek je //true positive// (TP), //false positive// (FP), //false negative// (FN), //true negative// (TN).
+Odpovězte na následující otázky:
+  * Pro klasifikátor s tabulkou A napište počet příkladů (z tabulky) pro každou ze dvou tříd.
+  * Předpokládejme, že se jedná o tabulky klasifikátorů, které rozpoznávají přítomnost člověka před autonomním automobilem. Automobil na základě výstupu klasifikátoru zastavuje či pokračuje dále v cestě.
+    * Který klasifikátor (A/B/C/D) bude nejméně často zbytečně zastavovat automobil? Je pro toto rozhodnutí relevantní //recall// nebo //precision//?
+    * Který klasifikátor (A/B/C/D) je nejbezpečnější použít? Je pro toto rozhodnutí relevantní //recall// nebo //precision//?
+    * Navrhněte nejjednodušší možný maximálně bezpečný klasifikátor. Je možné ho použít v praxi?
+> {{page>courses:b3b33kui:internal:quizzes#Klasifikátory - recall a precision - řešení středa&noheader}}
+===== Samostatná práce =====
+  * pracovat na úlohách [[courses:b3b33kui:semestralni_ulohy:5_ml:start|Strojové učení]], [[courses:b3b33kui:semestralni_ulohy:6_ml_vyber:start|Strojové učení: výběr klasifikátoru]]