B0M33BDT – Technologie pro velká data

Kvůli platným opatřením ČVUT se výuka do odvolání koná distančně. Počínaje 2. týdnem se učí přes fakultní skupiny MS Teams. Používáme skupinu B0M33BDT+BE0M33BDT.
Aktuální informace: Opravný praktický test proběhne 13. 1. od 9:15 online formou. Zadání testu v řádném termínu (6. 1.) s ukázkovým řešením najdete na konci sekce Zápočet. Informace ke zkouškám najdete v sekci Zkouška.

• výpočetní cluster Metacentrum – v přihlášce uveďte, že patříte do evidenční skupiny CVUT:FEL:B0M33BDT, ev. CVUT:FEL:A4M33BDT
• repozitář s materiály pro cvičení

Pro absolvování předmětu je potřeba umět aspoň na základní úrovni:

• Linux (manipulace se soubory a adresáři, orientace v adresářové struktuře)
• SQL (vytvoření tabulky, jednoduchý SELECT, agregační SELECT, JOIN)
• Python
  • typy list, tuple, dict, set
  • manipulace s textovými řetězci
  • flow control (if, while, for)
  • definice funkce (def), lambda funkce
• základní regulární výrazy

Doporučujeme si nosit vlastní notebook, který se dokáže připojit na internet. Je potřeba mít aplikace na SCP připojení (např. WinSCP) a na SSH připojení (např. PuTTY). Hodí se i inteligentní textový editor pro psaní skriptů v Pythonu a SQL (Notepad++, PSPad apod.).

Výuka probíhá vždy ve středu. Prezenční výuka byla plánována do budovy na Karlově náměstí. Po dobu distanční výuky budou odkazy na online výuku uváděny u příslušného týdne.

• lichý týden (L):
  • pouze přednáška 9:15–10:45, místnost KN:E-127
• sudý týden, varianta A (S-A):
  • přednáška 9:15–10:45, místnost KN:E-127
  • cvičení 2 paralelky 11:00–12:30 a 12:45–14:15, místnost KN:E-307
• sudý týden, varianta B (S-B):
  • supercvičení 2 paralelky 9:15-11:30 a 12:00-14:15 KN:E-307

První týden semestru je lichý, dále viz níže. Rozdělení do paralelek na cvičení a supercvičení si při distanční výuce zvolí každý sám. V případě prezenční výuky je jediným omezením kapacita místnosti na cvičení (22 míst, ostatní pak musí sedět vedle, na židli bez stolečku nebo se k někomu vmáčknout).

• 1. týden (L, 23. 9.): Organizace přednášek, klasifikační požadavky. Motivace, přehled, aplikace. Přednáška proběhla v externím meetingu Teams, prezentace v PDF
• 2. týden (S-A, 30. 9.):
  • přednáška – Hadoop, architektura clusteru, prezentace v PDF.
  • cvičení – první kroky na clusteru; nutno si předem vyřídit přístup na Metacentrum, viz výše, prezentace v PDF.
• 3. týden (L, 7. 10.): Storage (HDFS, Hive, Impala), prezentace v PDF
• 4. týden (S-B, 14. 10.): Supercvičení – Hive, prezentace v PDF, zadání k samostatné práci
• 5. týden (L, 21. 10.): Map-reduce paradigma a implementace, prezentace v PDF
• 6. týden (S-B, 28. 10.): výuka zrušena – státní svátek
• 7. týden (L, 4. 11.): Cloudové technologie, prezentace v PDF
• 8. týden (S-A, 11. 11.): Spark RDD
  • přednáška: prezentace v PDF, příklady k přednášce
  • cvičení: zadání k samostatné práci
• 9. týden (L, 18. 11.): Spark SQL, prezentace k přednášce, příklady k přednášce
• 10. týden (S-B, 25. 11.): Supercvičení – Spark, prezentace v PDF, zadání k samostatné práci, Spark SQL v jednoduchých příkladech
• 11. týden (L, 2. 12.): Bigdatové architektury, prezentace k přednášce,
• 12. týden (S-A, 9. 12.): Další bigdatové technologie
  • přednáška: prezentace k přednášce
  • cvičení: podklady ke cvičení
• 13. týden (L, 16. 12.): Big Data Science, prezentace k přednášce
• 14. týden (S-B, 6. 1.): Praktický test – podrobnosti níže

V tomto semestru je zadán jediný domácí úkol, za který můžete získat max. 10 bodů. Termín odevzdání je nejpozději o půlnoci z 31. 12. 2020 na 1. 1. 2021. Máte-li dotazy, napište e-mail.

Lze jej získat jedním ze dvou způsobů (navzájem se nevylučují):

• Vypracování zápočtové úlohy aspoň za 25 bodů (max. 50 bodů).
  • zpracování samostatné analýzy velkého datového souboru –- zadání pro analýzu dohodne student s pověřeným vyučujícím (Sergii Stamenov)
  • dokumentace postupu a sepsání závěrečné zprávy (cca 10 stran)
• Zisk aspoň 25 bodů z 50 možných za průběžný test, domácí úkol a praktický test.
  • za test z teorie na konci semestru lze získat max. 10 bodů
  • v závěrečném praktickém testu lze získat max. 30 bodů
  • za domácí úkol lze získat max. 10 bodů
  • granularita hodnocení ve všech disciplínách jsou půlbody

Test z teorie i praktický test proběhly online formou v rámci posledního supercvičení (6. 1.) Pro oba testy byl vytvořen channel s meetingem v obvyklé skupině MS Teams.

• Obsahem praktického testu jsou úlohy na zpracování dat pomocí Hadoopu a jeho technologií. Každý pracuje samostatně, ale je povoleno používat vlastní i internetové podklady: zápisky, vzorové kódy z přednášek i cvičení, Google, Stack Overflow apod.
• Praktický test je možné jednou opakovat v opravném termínu podle dohody s vyučujícím. Při opakování se výsledek prvního testu ruší a platí výsledek druhého testu, i kdyby byl horší než u prvního testu.
• Řádný termín, varianta A: zadání, ukázkové řešení Hive, ukázkové řešení analytických úloh
• Řádný termín, varianta B: zadání, ukázkové řešení Hive, ukázkové řešení analytických úloh

Opravný praktický test proběhne formou online ve středu 13. 1. od 9:15. Bude pro něj vytvořen samostatný kanál v MS Teams.

Proběhne formou osobního pohovoru s některým přednášejícím na teoretická témata přednesená během semestru. Počet bodů získaných pro zápočet má vliv na známku u zkoušky.

Termíny zkoušek jsou již vypsány v KOSu:

• 20. 1. od 10 a od 13 hodin
• 22. 1. od 10 hodin
• 27. 1. od 10 hodin
• 29. 1. od 10 hodin

Každý termín se dělí na tři časové sloty po 20 minutách, do každého slotu se mohou zapsat 3-4 studenti (počet se řídí počtem zkoušejících, kteří jsou v daný čas k dispozici).

Pozor, změna místa! Zkouška proběhne v hlavní budově firmy Profinit, Praha 6, Tychonova 2.

• Nahlašte se dole u vchodu v recepci.
• Do prostor Profinitu doražte prosím ne dříve než 5 minut před začátkem termínu (kvůli prevenci shlukování lidí). Ihned po absolvování zkoušky prostory opusťte.
• Nezapomeňte si osobní průkaz s fotografií.
• V celé budově je třeba nosit roušky nebo si zakrývat ústa a nos jiným vhodným způsobem.

Jan Hučín

Hadoop: The Definitive Guide, 4th Edition, by Tom White