CourseWare Wiki
Switch Term
Summer 2023 / 2024
Summer 2022 / 2023
Summer 2021 / 2022
Summer 2020 / 2021
Summer 2019 / 2020
Summer 2018 / 2019
Summer 2017 / 2018
Older
Search
Log In
b232
courses
b3b33kui
cviceni
program_po_tydnech
tyden_11
Differences
This shows you the differences between two versions of the page.
View differences:
Side by Side
Inline
Go
Link to this comparison view
Both sides previous revision
Previous revision
2024/05/03 09:25 xposik [Recall and Precision]
2024/05/03 09:22 xposik [Recall and Precision]
2023/05/10 15:08 external edit
Go
Previous revision
2024/05/03 09:25 xposik [Recall and Precision]
2024/05/03 09:22 xposik [Recall and Precision]
2023/05/10 15:08 external edit
Go
courses:b3b33kui:cviceni:program_po_tydnech:tyden_11 [2019/05/02 10:42]
courses:b3b33kui:cviceni:program_po_tydnech:tyden_11 [2024/05/03 09:25]
(current)
xposik
[Recall and Precision]
Line 1:
Line 1:
+
====== 11 Bayesovské rozhodování II ======
+
Budeme dále pokračovat v Bayesovském rozhodování. Nyní však budeme oproti minulému cvičení uvažovat, že různá rozhodnutí mohou vést k různé ztrátě.
+
+
* Kvízy
+
* semestrální úloha - dotazy
+
+
===== Kvíz I - Bayesovské rozhodování: mince =====
+
* tradiční kvíz, tentokrát opět na Bayesovské rozhodování
+
+
> {{page>courses:b3b33kui:internal:quizzes#Bayesovské rozhodování - mince}}
+
+
/*
+
* bodovaný, bonusových 0.5bodu
+
* řešení odevzdat do BRUTE do úlohy **lab11quiz**, do půlnoci dne, kdy běží dané cvičení
+
* formát: textový soubor, fotka řešení na papíře, pdf - co Vám nejlépe vyhovuje a dokážeme to přečíst
+
* správné řešení prodiskutujeme na příštím cvičení
+
*/
+
/*
+
==== Zadání kvíz I ====
+
* p. 101, St 12:45: {{ :courses:b3b33kui:cviceni:program_po_tydnech:20210428-082441_bayesdecisionscoins_cv101.pdf | cv101}}
+
* p. 102, St 14:30: {{ :courses:b3b33kui:cviceni:program_po_tydnech:20210428-082732_bayesdecisionscoins_cv102.pdf | cv102}}
+
* p. 103, Čt 12:45: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayes_coins_p103_cz.pdf |cv103}}
+
* p. 104, Čt 14:30: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayesdecisionscoins_104.pdf |cv104}}
+
* p. 105, Pá 9:15: {{ :courses:b3b33kui:cviceni:program_po_tydnech:bayes_coins_p105_cz.pdf |cv105}}
+
*/
+
+
===== Kvíz II =====
+
* vysvětlení na příkladech
+
* příklad I: zvláštní ztrátová funkce
+
* příklad II: recall and precision
+
* bez bodového hodnocení
+
+
/*
+
* prezentace {{ :courses:b3b33kui:cviceni:program_po_tydnech:strange_loss_function.pdf | Strange_loss_function.pdf}}
+
*/
+
+
==== Podivná ztrátová funkce pro klasifikaci ====
+
+
Uvažujme bayesovskou rozhodovací úlohu, ve které je množina stavů stejná jako množina rozhodnutí (tedy $S=D$) a ztrátová funkce je definována jako: \\
+
$l(s,d)=K, \ \ d = s$,\\
+
$l(s,d)=1, \ \ d \neq s$.\\
+
Jakých hodnot musí nabývat K, aby bylo možné k nalezení optimálního rozhodnutí použít
+
$\delta^* (x) = \arg \max_d P(d|x)$?
+
+
> {{page>courses:b3b33kui:internal:quizzes#Podivná ztrátová funkce pro klasifikaci - řešení&noheader}}
+
+
==== Recall and Precision ====
+
Wikipedia:
+
* [[https://en.wikipedia.org/wiki/Binary_classification|Binary classification]]
+
* [[https://en.wikipedia.org/wiki/Evaluation_of_binary_classifiers|Evaluation of Binary Classifiers]]
+
* [[https://en.wikipedia.org/wiki/Confusion_matrix|Confusion matrix]]
+
+
Mějme 4 různé klasifikátory a jejich výsledky reprezentované pomocí matic záměn (confusion matrix):
+
+
$$
+
\begin{array}{cc}
+
\begin{array}{|c|c|c|}
+
\hline
+
\text{klasifikátor} & TP=20 & FP=3 \\
+
\hline
+
\text{A} & FN=18 & TN=14 \\
+
\hline
+
\end{array}
+
&
+
\begin{array}{|c|c|c|}
+
\hline
+
\text{klasifikátor} & TP=60 & FP=80 \\
+
\hline
+
\text{B} & FN=43 & TN=21 \\
+
\hline
+
\end{array}
+
\\
+
\begin{array}{|c|c|c|}
+
\hline
+
\text{klasifikátor} & TP=13 & FP=14 \\
+
\hline
+
\text{C} & FN=18 & TN=1 \\
+
\hline
+
\end{array}
+
&
+
\begin{array}{|c|c|c|}
+
\hline
+
\text{klasifikátor} & TP=14 & FP=16 \\
+
\hline
+
\text{D} & FN=4 & TN=80 \\
+
\hline
+
\end{array}
+
\end{array}
+
$$
+
Význam jednotlivých políček tabulek je //true positive// (TP), //false positive// (FP), //false negative// (FN), //true negative// (TN).
+
+
Odpovězte na následující otázky:
+
* Pro klasifikátor s tabulkou A napište počet příkladů (z tabulky) pro každou ze dvou tříd.
+
* Předpokládejme, že se jedná o tabulky klasifikátorů, které rozpoznávají přítomnost člověka před autonomním automobilem. Automobil na základě výstupu klasifikátoru zastavuje či pokračuje dále v cestě.
+
* Který klasifikátor (A/B/C/D) bude nejméně často zbytečně zastavovat automobil? Je pro toto rozhodnutí relevantní //recall// nebo //precision//?
+
* Který klasifikátor (A/B/C/D) je nejbezpečnější použít? Je pro toto rozhodnutí relevantní //recall// nebo //precision//?
+
* Navrhněte nejjednodušší možný maximálně bezpečný klasifikátor. Je možné ho použít v praxi?
+
+
> {{page>courses:b3b33kui:internal:quizzes#Klasifikátory - recall a precision - řešení středa&noheader}}
+
+
+
===== Samostatná práce =====
+
* pracovat na úlohách [[courses:b3b33kui:semestralni_ulohy:5_ml:start|Strojové učení]], [[courses:b3b33kui:semestralni_ulohy:6_ml_vyber:start|Strojové učení: výběr klasifikátoru]]