\documentclass{article}
\usepackage[utf8]{inputenc}
\usepackage[czech]{babel}
\usepackage{color}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{tikz}
\usepackage{multirow}
\usepackage{enumerate}
\usepackage{fancyvrb}
%\usepackage[usenames,dvipsnames,svgnames,table]{xcolor}
\usetikzlibrary{shapes,snakes}

%\newcommand{\solution}[1]{\noindent\fcolorbox{blue}{white}{\begin{minipage}{\textwidth}#1\end{minipage}}}
%\newcommand{\itemN}{\item[$\neg$]}
%\newcommand{\itemY}{\item}
%\newcommand{\boxX}[1]{$\square$}

\newcommand{\solution}[1]{}
\newcommand{\boxX}[1]{$\square$}
\newcommand{\itemN}{\item[$\bigcirc$]}
%\newcommand{\itemN}{\item[$\times$]}
\newcommand{\itemY}{\item[$\bigcirc$]}
\newcommand{\mytilde}{$\sim$}

\newcommand{\points}[1]{\textit{(#1 b)}}

\addtolength{\oddsidemargin}{-.875in}
\addtolength{\evensidemargin}{-.875in}
\addtolength{\textwidth}{1.75in}
\addtolength{\topmargin}{-1in}
\addtolength{\textheight}{2in}

\begin{document}

\pagestyle{empty}
\begin{titlepage}
\begin{center}
  \null\vfill
  \begin{huge}
%    \texttt{\courseCode}
    \par\vspace{0.5em}
    \textbf{\textsf{Statistická analýza dat}}
  \end{huge}
  \par\vspace{2em}
  \begin{large}
%    \examDate
    \vfill
    \begin{tabular}[t]{ll}
      \textbf{Jméno:}  & \underline{\hspace{20em}}\\ \\ \\
      \textbf{Podpis:} & \underline{\hspace{20em}}
    \end{tabular}
  \end{large}
  \vfill
  \begin{Huge}
  \begin{tabular}{|l|c|}\hline
    \normalsize Cvičení & \\\hline
    \normalsize Zkouška (písemná + ústní) &
      \hspace{2em}\normalsize$\geq$ 25\\\hline\hline
    \normalsize{\bf Celkem} & \hspace{2em}\normalsize$\geq$ 50\\\hline
    \normalsize{\bf Známka} & \\\hline
  \end{tabular}
  \end{Huge}
  \vfill
\end{center}
{\bf Pokyny k vypracování:} doba řešení je 150min, jasně zodpovězte pokud možno všechny otázky ze zadání, pracujte s pojmy používanými v předmětu, můžete používat kalkulátory.
\end{titlepage}

\setcounter{page}{1}
\newpage

\noindent\textbf{Statistické minimum.} \points{10} Zodpovězte následující otázky:
\begin{enumerate}[(a)]
\item \points{6} Definujte věrohodnostní funkci (likelihood). K čemu se metoda maximální věrohodnosti používá?  Jak se dá věrohodnosti využít při testování statistických hypotéz?
\vspace{8cm}
\item \points{4} Vysvětlete rozdíl mezi bodovým a intervalovým statistickým odhadem parametrů.
% náhodná veličina X, která vznikla jako součet velkého počtu vzájemně nezávislých náhodných veličin X1,X2,…,Xn, má za velmi obecných podmínek přibližně normální rozdělení
% zjednodušuje testování polohy a měřítka u agregovaných veličin, nemusíme testovat předpoklady, víme, že rozdělení bude normální
% vysvětluje také, proč normální rozdělení pozorujeme u tak velkého počtu přirodních náhodných veličin (jde o přirozený důsledek jejich povahy, tj. skryté sumy jiných nepozorovaných náhodných veličin)
\vspace{7cm}
\end{enumerate}

\solution{}

\newpage

\noindent\textbf{Hierarchické shlukování.} \points{10} Níže diskutujte vlastnosti hierarchického shlukování. 

\begin{enumerate}[(a)]
\item \points{3} Formálně definujte hierarchické aglomerativní shlukování (vstupy, výstup, algoritmus a jeho parametry).
\vspace{3cm}
% x z R^p, výstupem je dendrogram, parametry jsou vzdálenostní funkce a zobecněná vzdálenostní funkce (single, complete, centroid)
\item \points{2} Co to je taxonomie a dendrogram? Důsledně a detailně interpretujte jejich význam v hierarchickém shlukování (proč je taxonomie informativnější než prostý rozklad na shluky, kde lze v dendrogramu nalézt podobnost mezi objekty a jejich shluky, apod.).
% linearni a kvadraticka rozhodovaci hranice, prvni metoda modeluje kazdou tridu multivariatnim normalnim modelem s identickou kovariancni matici, druha uci kovariancni matici pro kazdou tridu zvlast
% pro pripadnou ustni zkousku: vztah k naive bayes, ktery navic povoluje pouze diagonalni kovariancni matice trid
\vspace{4cm}
\item \points{3} Odhadněte složitost hierarchického aglomerativního shlukování. Důležitý je výsledek, ale i postup, kterým odhad odůvodníte.
\vspace{4cm}
% QDA pro obě, záleží zde ale i na množství vzorků a složitosti hranice
\item \points{2} Na dendrogramu níže je zobrazena tzv. inverze, tj. situace, kdy podobnost v průběhu aglomerativního shlukování neklesá ale roste. Může tato situace nastat? Za jakých podmínek?

\includegraphics[width=.3\textwidth]{inversion.png}
\vspace{4cm}
% muze nastat, podmínkou je nemonotonni vzdalenostni fuckce, tou je napriklad centroid linkage 
% na prednasce jsem ukazoval shlukovani 3 bodu v lezicich na rovnostrannem trojuhelniku, po shluknuti prvnich dvou bodu je treti bod blize ke stredu nez byl k jakemukoli z puvodnich bodu
\end{enumerate}

\solution{}

\newpage

\noindent\textbf{Multivariátní regrese.} \points{10} Jste strojní zámečník a snažíte se zjistit, jak souvisí chyba obrábění hřídele s nastavením parametrů obráběcího stroje. Sestavili jste multivariátní lineární model. Model vyjadřuje vztah mezi výrobní chybou (rozdíl mezi cílovým ideálním průměrem hřídele a skutečným průměrem hřídele, ProdError) a nastevením deseti různých spojitých parametrů stroje (P1-P10). Níže je uveden výstup, který jste obdrželi: 
% lm_10_irrelevant.R
\begin{Verbatim}[commandchars=\\\{\}]
summary(lm(ProdError \mytilde P1+P2+P3+P4+P5+P6+P7+P8+P9+P10))

Coefficients:
             Estimate Std. Error t value Pr(>|t|)
(Intercept)   0.2638     0.2556   1.032    0.329  
P1            0.2471     0.2564   0.964    0.360  
P2           -0.6112     0.1979  -3.089    0.013 *
P3            0.2728     0.2341   1.165    0.274  
P4            0.1093     0.2061   0.530    0.609  
P5           -0.3165     0.4674  -0.677    0.515  
P6           -0.4419     0.2660  -1.661    0.131  
P7            0.1244     0.3152   0.395    0.702  
P8            0.2452     0.2657   0.923    0.380  
P9            0.1287     0.3093   0.416    0.687  
P10           0.3544     0.2956   1.199    0.261  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.7549 on 9 degrees of freedom
Multiple R-squared:  0.7237,	Adjusted R-squared:  0.4168 
F-statistic: 2.358 on 10 and 9 DF,  p-value: 0.1062                 
\end{Verbatim}

\begin{enumerate}[(a)]
\item \points{2} Rozhodněte, zda je alespoň jeden z parametrů stroje (nezávisle proměnných) užitečný pro odhad výrobní chyby. Jinými slovy, formálně rozhodněte, zda lze zamítnout $H_0: \beta_1=\beta_2=\dots=\beta_{10}=0$. Správně odůvodněte.
% rozhodneme na základě F testu na poslední řádce, model není užitečný
% méně správné je rozhodnutí na základě dílčích p-hodnot, to může být zatíženo chybou plynoucí z opakovaného testování
% deset proměnných není zanedbatelný počet, pokud H0 skutečně platí, při \alpha=0.05 nedojde k žádné chybě prvního druhu s pstí 0.95^10=0.6 (binomické rozdělení, 10 úspěchů v 10 pokusech, pst úspěchu 0.95), ve 40% experimentů nalezneme alespoň jednu  domněle signifikantní proměnnou
% k Type I chybě zde také u P2 skutečně došlo, výrobní chyba v experimentu je zcela nezávislá na parametrech stroje
\vspace{3cm}
\item \points{2} Dá se z dat o modelu usoudit z kolika vzorků různých hřídelů byl model sestaven? Pokud ano, kolik jich bylo?
% da se to poznat z udaju o stupnich volnosti
% RSE ma stejne jako RSS m-p-1 stupnu volnosti, protoze df je 9 a p je 10, je m nutne df+p+1=20, model jsme sestavili ze 20 vzorku
% F statistika se pocita jako podil vysvetleneho rozptylu vzhledem k residualnimu, tj. (TSS-RSS)/RSS, oboje je normovano prislusnymi stupni volnosti, TSS ma m-1, RSS ma m-p-1, TSS-RSS ma m-1-(m-p-1)=p
% uvedeny jsou hodnoty 10 a 9, p je tedy 10 a m-p-1=9, z toho opet m=20
\vspace{3cm}
\item \points{2} Jakým způsobem zohledníme tento počet při hodnocení užitečnosti modelu? Jak se změní chyba I druhu a chyba II druhu s rostoucím počtem vzorků pokud zachováme konstantní hladinu významnosti $\alpha$?
% vzorku je malo, to ale primo nepostihuje p-values u jednotlivych parametru, po zvyseni poctu vzorku model generuje zhruba stejny pocet falesnych poplachu, zvysovala by se ale sila testu (tj. schopnost detekovat skutecne pozitivni vztahy) a   robustnost odhadu RSS, R2 a tim i sila F-testu (po zvyseni poctu vzorku vyrazne rostou p-values u F-testu)
% shrnuto: Type I error je řízený parametr a její pravděpodobnost při nezměněné hodnotě hodnotě alpha zůstane nezměněna, poroste ale síla testu, bude tedy klesat chyba II druhu
\vspace{3cm}
\item \points{4} Podrobně popište způsob, jak byste svůj model ověřili nad vzorky, které máte aktuálně k dispozici. Můžete tvořit další pomocné modely. Popište metodu validace, definujte chybovou funkci a určete, s čím budete vypočtenou chybu srovnávat.
% křížová validace, dělení do folds, 
% hodnotili bychom chybu predikce, kritériem pro spojité veličiny může být RMSE, nebo MAPE
% srovnávat budeme s chybou modelu zalozenem na pouhem interceptu
% z experimentu je zrejme, ze chyba modelu je vetsi nez chyba modelu zalozenem na pouhem interceptu a ten je horsi nez model, ktery rika vzdy 0
\vspace{6cm}
\end{enumerate}

\newpage

\noindent\textbf{Logistická regrese.} \points{10} Máte data o loňské skupině studentů kurzu SAN. U každého studenta známe počet hodin, po který se připravoval na zkoušku ($hours$), jeho studijní průměr z posledního ročníku bakalářského studia ($avg$) a údaj o tom, zda přišel z programu OI či nikoli ($OI$). Cílovou binární veličinou $Y$ je to, zda daný student získal známku A. Naučíte logistický model a získáte koeficienty $\beta_0=-1$, $\beta_{hours}=0.05$, $\beta_{avg}=-1$ a $\beta_{OI}=1$.

\begin{enumerate}[(a)]
\item \points{3} Jaká je interpretace koeficientů v logistickém modelu (srovnejte s lineární regresí, kde koeficient vyjadřuje průměrnou změnu výstupu při jednotkové změně dané nezávisle proměnné a zafixování hodnot ostatních nezávisle proměnných)? Vysvětlete postupně pro $\beta_0$, $\beta_{hours}$ a $\beta_{OI}$.
\vspace{5cm}
% $\beta_0$ zprostředkovává pst toho, že A získá student, jehož GPA bylo 0, nepřišel z OI a připravoval se 0 hodin, jde o P(Y=A)=1/(1+e^1)=0.2689, jde o to, aby takový student neměl pst A rovnu 0.5, což by nastalo pro nulové $\beta_0$
% pro binární nezávisle proměnnou $\beta_{OI}$, e^beta_OI odpovídá poměru šancí mezi skupinami definovanými proměnnou OI, u kterých se ostatní parametry nemění, tj. beta_OI=1 určuje, že šance ve skupině OI vzroste 2.71krát oproti skupině "mimo OI"
% šance pro OI: P(OI)/(1-P(OI))
% šance pro mimo OI: P(neg OI)/(1-P(neg OI))
% jejich poměr je při zachování ostatních proměnných beze změny 2.71
% pro spojité závisle proměnné je to podobné, jde o nárůst poměru šancí s jednotkovou změnou závisle proměnné (a zachování všech ostatních prediktorů)
\item \points{2} Vypočítejte, jak bude podle vašeho modelu klasifikován student, který přišel z OI, připravoval se 20h a jeho $avg$ bylo 2?
\vspace{4cm}
% přesná pst A: -1+0.05*20-2+1=-1, P(Y=A)=1/(1+e^1)=0.269
% snadno lze pomocí rozhodovací hranice níže: -1+0.05*20-2+1=-1<0, nezíská A
\item \points{2} Jak dlouho by se výše uvedený student musel připravovat na zkoušku, aby měl právě 50\% pravděpodobnost, že dostane známku A?
\vspace{4cm}
% musí platit -1+0.05*hours-2+1=0, hours=2/0.05 musí tedy studovat 40 hodin 
\item \points{3} Na uvedeném modelu/příkladu ilustrujte pojem matoucí proměnná (confounding variable). Definujte pojem, ukažte jednoduchý vztah mezi proměnnými. Model můžete libovolně upravit.
\vspace{5cm}
% an extraneous variable in a statistical model that correlates (directly or inversely) with both the dependent variable and the independent variable, in a way that "explains away" some or all of the correlation between these two variables
% priklad: studenti s nizsim studijnim prumerem se pravdepodobne dele uci, pokud bychom sestavovali oddelene logisticke modely pro kazdou z promennych muze se stat, ze jejich efekty bude odhadovany silnejsi nez v kombinovanem modelu

%\item \points{3} Ukažte jak byste logistickou regresi použili v případě multinomiální závisle proměnné (tj. proměnné, která nabývá více než dvou odlišných hodnot).
%\vspace{5cm}
% alternativa k poslední otázce
\end{enumerate}

\newpage

\noindent\textbf{Robustní statistika.} \points{10} Odhadněte třemi různými metodami robustně polohu (location) ze vzorku
\{-1.84, 1.18, 0.0499, -0.751, -0.00707, -2.05, -1.47, -0.0520, -0.991, -0.945\}.
% míry polohy zachycují centrální nebo typickou hodnotu pravděpodobnostního rozdělení

\begin{enumerate}[(a)]
\item \points{2} Metoda 1:
% median = -0.848
\vspace{3cm}
\item \points{2} Metoda 2:
% spocitame mean z populace, kde odrizneme alpha% maximalnich a alpha% minimalnich hodnot (tj. alpha-kvantil a 1-alpha kvantil pro rozdeleni)
% alpha-trimmed mean (v pripade alpha=0.1 prumer z 8 hodnot, vyrazeno -2.05 a 1.18) = -0.7507
\vspace{3cm}
\item \points{2} Metoda 3:
% spocitame mean z populace, kde alpha% maximalnich a alpha% minimalnich hodnot (tj. alpha-kvantil a 1-alpha kvantil pro rozdeleni) nahradime nejextremnejsimi zbyvajicimi hodnotami
% alpha-windsorized (v pripade alpha=0.1, prumer z populace, kde -2.05 je nahrazeno -1.84 a 1.18 nahrazeno 0.0499) = -0.6876

% další možnosti: the set of all possible one- or two-element subsets of it has n(n + 1)/2 elements. For each such subset, the mean is computed; finally, the median of these n(n + 1)/2 averages is defined to be the Hodges–Lehmann estimator of location
% Hodges-lehmann = 0.7447 (vezmu 10 hodnot, rozsirim je o populaci 45 prumeru vsech dvojprvkovych mnozin a vezmu median)
\vspace{3cm}

\item \points{2} Popište kritéria, jež jsou určující pro kvalitu robustního odhadu polohy.
\vspace{4cm}
% Breakdown point: the largest proportion of sample observations which may be given arbitrary values without taking the estimator to a limit uninformative about the parameter being estimated, breakdown point cannot exceed 50% because if more than half of the observations are contaminated, it is not possible to distinguish between the underlying distribution and the contaminating distribution (examples: 0% for mean, single outlier throws it off, 50% for median as at least 50% of outliers is needed to influnce median, all of them must be either lower or higher than median).
% Asymptotic relative efficiency (ARE): efficiency is a measure of quality of an estimator (in terms of variance or mean square error, i.e., how is the sampling distribution of the estimator spread about the true value), a more efficient estimator needs fewer observations than a less efficient one to achieve a given performance, relative efficiency of two estimators is the ratio of their efficiencies, asymptotic relative efficiency is the limit of the relative efficiencies as the sample size grows. Typically measured as the ratio to the variance of the mean.

\item \points{2} Diskutujte výhody a nevýhody vámi zvolených metod podle kritérií popsaných v předchozím bodě.
% Vyhody median ma vysoky breakdown point 50%, ale nizkou presnost 2/\pi=0.637 pro normalni rozdeleni.
% Alpha-trimmed a alpha-windsorized maji nizsi breakdown point (alpha), ale vyssi presnost (ARE alpha-trimmed je 0.943).
% Hodges-Lehmann ma vysoky breakdownpoint (29%) a vyssi presnost ARE=0.955 pro normalni rozdeleni.

\end{enumerate}

\end{document}


