\documentclass{article}
\usepackage[utf8]{inputenc}
\usepackage[czech]{babel}
\usepackage{color}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{tikz}
\usepackage{multirow}
\usepackage{enumerate}
%\usepackage[usenames,dvipsnames,svgnames,table]{xcolor}
\usetikzlibrary{shapes,snakes}

%\newcommand{\solution}[1]{\noindent\fcolorbox{blue}{white}{\begin{minipage}{\textwidth}#1\end{minipage}}}
%\newcommand{\itemN}{\item[$\neg$]}
%\newcommand{\itemY}{\item}
%\newcommand{\boxX}[1]{$\square$}

\newcommand{\solution}[1]{}
\newcommand{\boxX}[1]{$\square$}
\newcommand{\itemN}{\item[$\bigcirc$]}
%\newcommand{\itemN}{\item[$\times$]}
\newcommand{\itemY}{\item[$\bigcirc$]}


\newcommand{\points}[1]{\textit{(#1 p)}}

\addtolength{\oddsidemargin}{-.875in}
\addtolength{\evensidemargin}{-.875in}
\addtolength{\textwidth}{1.75in}
\addtolength{\topmargin}{-1in}
\addtolength{\textheight}{2in}

\begin{document}

\pagestyle{empty}
\begin{titlepage}
\begin{center}
  \null\vfill
  \begin{huge}
%    \texttt{\courseCode}
    \par\vspace{0.5em}
    \textbf{\textsf{Statistical data analysis}}
  \end{huge}
  \par\vspace{2em}
  \begin{large}
%    \examDate
    \vfill
    \begin{tabular}[t]{ll}
      \textbf{Name:}  & \underline{\hspace{20em}}\\ \\ \\
      \textbf{Signature:} & \underline{\hspace{20em}}
    \end{tabular}
  \end{large}
  \vfill
  \begin{Huge}
  \begin{tabular}{|l|c|}\hline
    \normalsize Labs & \\\hline
    \normalsize Exam (written + oral) &
      \hspace{2em}\normalsize$\geq$ 25\\\hline\hline
    \normalsize{\bf Total} & \hspace{2em}\normalsize$\geq$ 50\\\hline
    \normalsize{\bf Grade} & \\\hline
  \end{tabular}
  \end{Huge}
  \vfill
\end{center}
{\bf Instructions:} the solution time is 120 minutes, clearly answer as many questions as possible, work with the terms used in the course, employ math (notation, expressions, equations) as often as possible, you can use calculators.
\end{titlepage}

\setcounter{page}{1}
\newpage

\textbf{Statistical minimum.} \points{10} Answer the following questions:
\begin{enumerate}[(a)]
\item \points{4} What is a cumulative distribution function? What is a quantile and quantile function? What is a probability density function? Define formally and explain their relationship.
\vspace{7cm}
\item \points{4} Formulate the central limit theorem. Where can we use it?
% náhodná veličina X, která vznikla jako součet velkého počtu vzájemně nezávislých náhodných veličin X1,X2,…,Xn, má za velmi obecných podmínek přibližně normální rozdělení
% zjednodušuje testování polohy a měřítka u agregovaných veličin, nemusíme testovat předpoklady, víme, že rozdělení bude normální
% vysvětluje také, proč normální rozdělení pozorujeme u tak velkého počtu přirodních náhodných veličin (jde o přirozený důsledek jejich povahy, tj. skryté sumy jiných nepozorovaných náhodných veličin)
\vspace{7cm}
\item \points{2} Define the following terms: mean (expected value) and arithmetic mean. Explain the difference between them.
% We talk about the expected value of a random variable and the mean of a sample or population. The first is defined with the aid of probability density, the second is a sample average.
\end{enumerate}

\solution{
Jde o algoritmy založené na kompetitivním učení a minimalizaci kvantizační chyby. SOM je soft variantou k-means, důsledkem je robustnější konvergence. Neurony jsou přímou analogií středů shluků, odpovídají repezentantům množiny instancí, tj. středům shluků. SOM navíc zavádí strukturu, vztahy sousednosti mezi neurony. Důsledkem je pak možnost vizualizace dat v prostoru menší dimenze, resp. redukce dimenze.
}

\newpage

\textbf{Dimensionality reduction.} \points{10} Concern the task of dimensionality reduction. 

\begin{enumerate}[(a)]
\item \points{2} Define the task of dimensionality reduction formally (input, output, assumptions, criteria).
\vspace{2cm}
\item \points{2} Define and explain multidimensional scaling. Is it a linear or non-linear dimensionality reduction method?
\vspace{2cm}
% jde o metodu zachovávající vzdálenosti, linearita je ovlivněna konkrétní formulací
\item \points{2} Define the term geodesic distance. How would you calculate it from data? Explain the risks of this calculation.
\vspace{3cm}
% vzdálenost počítána jako vzdálenost na manifoldu
% v praxi ji lze aproximovat součtem lokálních euklidovských vdáleností na cestě v grafu sousednosti
% rizika jsou: zig-zag problém při malém počtu bodů, velká složitost výpočtu při velkém počtu bodů

\item \points{2} Write a pseudo-code of a multidimensional scaling method with a geodesic distance. Name the method (use its common name).
% sestav graf sousednosti, uzly josu instance, každý uzel propoj s K nejbližšími sousedy
% spočitej délky nejkratších cest mezi všemi páry bodů grafu
% aplikuj MDS
\vspace{4cm}
\item \points{2} In the figures below describe the above-defined method (i.e., outline graphically the way in which the objects from the original space map into the reduced space). Can the output look different than you plotted?
\begin{center}\begin{tabular}{cc}
    \includegraphics[width=0.4\textwidth]{isomap_2D}&\includegraphics[width=0.4\textwidth]{isomap_1D.png}
\end{tabular}\end{center}
% hodnotí se naznačení grafu sousednosti, uspořádání bodů na ose, schopnost usoudit, že pořadí může být i opačné 
\end{enumerate}

\newpage

\textbf{Multivariate regression.} \points{10} Concern the task of multivariate linear model construction. The number of independent variables is large, they differ in relevance, some of them are entirely irrelevant.

\begin{enumerate}[(a)]
\item \points{2} Name the two basic shrinkage methods that could serve to decrease the size of the model. Write down the criterion functions that these shrinkage methods minimize.
% ridge regression a lasso, RSS+\lambda\sum_j\beta_j^2 a RSS+\lambda\sum_j|\beta_j|, existují i alternativní formulace s omezeními,
\vspace{3cm}
\item \points{2} Explain the difference in the outcomes of these two methods. Justify.
% ridge regression pouze redukuje ohebnost modelu, vnáší do něj zaujetí, netlačí ale na řídkost modelu, tj. velký počet nulových koeficientů, to naopak dělá lasso
\vspace{3cm}
\item \points{1} Does any of these two methods ask for data preprocessing? If so, which one and why?
% hřebenová regrese naní invariantní vůči měřítku, tj. násobení některého příznaku konstantou vede na změnu celého modelu (u jiných metod se pouze upraví koeficient, aby součin \beta_i x_i zůstal konstantní)
\vspace{2cm}
\item \points{2} Does any of these two methods have a parameter to be set? If so, how would you set it? What is the meaning of this parameter?
% obě metody mají parametr \lambda, rostoucí hodnota parematru vede na regularizovanější model,  \lambda=0 vede na model ekvivalentní plnému, \lambda\rightarrow\infty na model se všemi koeficienty nulovými
\vspace{4cm}
\item \points{2} Explain why the shrinked/reduced models could reach a smaller test error than the referential full model learned with the least squares method. Proposal: stem from the bias and variance trade-off in models of different sizes.
% uvažujme jeden testovací příklad, zaujetí je systematická chyba, kterou budeme nad tímto příkladem dělat, pokud se budeme opakovaně učit nad odlišným trénovacím vzorkem dané velikosti, variance je chyba vzniklá oscilacemi tohoto modelu, zvyšováním \lambda zvyšujeme zaujetí, ale snižujeme varianci, optimální volbou parametru lze dosáhnout minimalizace celkové chyby
\vspace{4cm}
\item \points{1} Mention the disadvantages of shrinkage methods when compared with the traditional least squares regression?
% nutnost nastavit paremetr lambda, zejména lasso nemá diferencovatelné kritérium a jeho minimalizace je sice konvexní, ale optimalizace iterativní a může být časově náročnějí než OLS s maticovými operacemi a O(p^2m)}
\end{enumerate}

\newpage

\textbf{Robust statistics.} \points{10} Discuss the term robust regression. Answer the questions below.

\begin{enumerate}[(a)]
\item \points{2} What is robust regression and under which conditions you would recommend its application?
\vspace{4cm}
% robustní regrese řeší problémy, které vznikají porušením předpokladů tradičních metod jako je např. metoda nejmenších čtverců
% jde o citlivost na odlehlé hodnoty (tedy pozorování, u kterých (závislá) veličina nesleduje vzory pozorovatlené u ostatních instancí) a heteroskedastickou chybu lineárního modelu (tj. velké rozdíly v rozptylu neredukovatelné chyby pro odlišná nastavení nezávisle proměnných)
\item \points{1} Demonstrate the idea behind robust regression graphically (it is sufficient to concern a simple case with one independent and one dependent variable, a scatterplot comparing the output of robust and classic regression).
\vspace{4cm}
% obrázek s odlehlými hodnotami a regresní přímkou, která je ignoruje  a která je jimi ovlivněna

\item \points{2} Change the regression task to become robust. Describe at least two ways of the reformulation. Where are the shortcomings?
\vspace{4cm}
% změníme optimalizační kritérium, namísto nejmenších čtverců použijeme např. mediánovou absolutní regresi (tj. Manhattan), nebo ztrátovou fci formulujeme jako Huber či Hampel loss (chyba nejprve roste kvadraticky se vzdáleností od regresní přímky, od jistého prahu už ale pouze lineárně, resp. využijeme i další práh, od kterého už chyba neroste vůbec)
% nevýhodou je nutnost parametrizace ztrátové funkce, ztrátové funkce nemusí být konvexní (Hampel), což vede na potíže při optimalizaci
\item \points{4} There are two paired samples:

$s_1=\{293, 311, 331, 295, 337, 328, 291, 306, 323, 316\}$, 

$s_2=\{298, 322, 321, 321, 343, 331, 289, 316, 329, 322\}$. 

Statistically compare both the samples through estimation of location (central tendency). Employ one parametric and one non-parametric, i.e. robust method. For both the methods clearly formulate their outcome.

You can stem from the following formulae: $T=\frac{\bar{d}-D_0}{s_d/\sqrt{n}}$, $W=\sum_{i=1}^{n}(sgn(x_i-y_i)R_i)$.

The corresponding tabular values: $t_{0.95,9}=1.883$, $t_{0.975,9}=2.262$, $t_{0.99,9}=2.281$, $t_{0.995,9}=3.250$;

\hspace*{4.6cm}$w_{0.95,10}=40$, $w_{0.99,10}=51$.
% testy v R a jejich raw p-values: 
% t.test(s_1,s_2, paired=TRUE): T=-2.08, \bar{d}=-6.1, sd(d)=9.26, p=0.0668
% wilcox.test(a,b,paired=TRUE): W=-8.5+46.5=38 (wilcox.test ale pracuje s hodnotou 8.5), p=0.0585
% tj. u obou nelze zamítnout H_0 na hladině významnosti älpha=0.05

% manuální test:
% musíme provést dvojstranný test, nemáme žádný apriorní důvod předpokládat, že hodnoty ve druhém vzorku budou vyšší či nižší
% srovnávánme tedy absolutní hodnotu testové statistiky s t_{\alpha/2,n-1}
% pro älpha=0.05 tedy platí T=2.08<2.26 a nulovou hypotézu nelze zamítnout

% manuální test Wilcoxon signed rank:
% pro älpha=0.05 W=38<40 a nulovou hypotézu nelze zamítnout
% zde je problém hlavně v tom, že všechny tabulkové hodnty pro malá n směřují na trochu jinou formulaci testu, kdy statistiku počítáme tak, že nejprve vypočteme sumu všech pozitivních ranků, poté všech negativních ranků a vezmeme jejich minimum, tabulkové hodnty jsou pak hodně malé a klesají s älpha

\item \points{1} Mention the advantages and disadvantages of both the methods for the given input.
% při alespoň hrubém splnění předpojkladů je vhdonější parametrický test pro svoji sílu, u neparametrického testu nehrozí porušní předpokladů, je ale logicky slabší, tj. častěji nezamítá neplatnou nulovou hypotézu
\end{enumerate}

\newpage
\textbf{Power analysis.} \points{10} Answer the questions below.

\begin{enumerate}[(a)]
\item \points{2} Explain the term power of a statistical test. 
\vspace{3cm}
% Power of a test determines the probability that the test correctly rejects H0. Power of a test = (1-\beta), where \beta determines the probability of Type II error.

\item \points{3} Enumerate three basic factors that influence this power (describe the relationship in detail for each factor)?
\vspace{4cm}
% Power of a test depends on: significance level \alpha (Type I error probability); lower \alpha, higher power, sample size n, higher n, higher power effect size d (min. degree of violation of H0), higher effect size, higher power.

\item \points{5} How many participants you have to invite for a test if you need to have 90\% chance to see problems that affect 30\% of all the users? Write down the equation for sample size calculation and obtain the sample size.
% At least 7 participants (6,46 specifically). n=ln(1-X)/ln(1-Y)
% X = percentage of chance observing a problem (goal)
% Y = rareness of the problem observed – percentage of users affected by the problem (probability of the problem occurrence)

\end{enumerate}

\solution{
ad a, b) Power of a test determines the probability that the test correctly rejects H0. Power of a test = (1-\beta), where \beta determines the probability of Type II error. Power of a test depends on: significance level \alpha (Type I error probability); lower \alpha, higher power, sample size n, higher n, higher power effect size d (min. degree of violation of H0), higher effect size, higher power
ad c) At least 7 participants (6,46 specifically). n=ln(1-X)/ln(1-Y)
X = percentage of chance observing a problem (goal)
Y = rareness of the problem observed – percentage of users affected by the problem (probability of the problem occurrence)
}

\end{document}


