B0M33BDT – Technologie pro velká data

Výuka proběhne pravděpodobně prezenčním způsobem, resp. do odvolání. V případě online výuky se učí přes fakultní skupiny MS Teams. Používáme skupinu B0M33BDT+BE0M33BDT.

Aktuální informace:

• výpočetní cluster Metacentrum – v přihlášce uveďte, že patříte do evidenční skupiny CVUT:FEL:B0M33BDT, ev. CVUT:FEL:A4M33BDT
• repozitář s materiály pro cvičení

Pro absolvování předmětu je potřeba umět aspoň na základní úrovni:

• Linux (manipulace se soubory a adresáři, orientace v adresářové struktuře)
• SQL (vytvoření tabulky, jednoduchý SELECT, agregační SELECT, JOIN)
• Python
  • typy list, tuple, dict, set
  • manipulace s textovými řetězci
  • flow control (if, while, for)
  • definice funkce (def), lambda funkce
• základní regulární výrazy

Doporučujeme si nosit vlastní notebook, který se dokáže připojit na internet. Je potřeba mít aplikace na SCP připojení (např. WinSCP) a na SSH připojení (např. PuTTY). Hodí se i inteligentní textový editor pro psaní skriptů v Pythonu a SQL (Notepad++, PSPad apod.).

Výuka probíhá vždy ve středu. Prezenční výuka byla plánována do budovy na Karlově náměstí. Po dobu distanční výuky budou odkazy na online výuku uváděny u příslušného týdne.

• lichý týden (L):
  • přednáška 9:15–10:45, místnost KN:E-126
• sudý týden, varianta A (S-A):
  • přednáška 9:15–10:45, místnost KN:E-126
  • cvičení 2 paralelky 11:00–12:30 a 12:45–14:15, místnost KN:E-307

První týden semestru je lichý, dále viz níže. V případě prezenční výuky je jediným omezením kapacita místnosti na cvičení (22 míst, ostatní pak musí sedět vedle, na židli bez stolečku nebo se k někomu vmáčknout).

• 1. týden (S, 22. 9.): Organizace přednášek, klasifikační požadavky. Motivace, přehled, aplikace.
• prezentace v PDF
• 2. týden (L, 29. 9.):
  • přednáška – Hadoop, architektura clusteru, prezentace v PDF.
  • cvičení (přesun z min. týdne) – první kroky na clusteru; nutno si předem vyřídit přístup na Metacentrum, viz výše, prezentace v PDF.
• 3. týden (S, 6. 10.):
  • přednáška – Storage a MapReduce, prezentace v PDF.
  • cvičení – ; nutno si předem vyřídit přístup na Metacentrum, viz výše, prezentace v PDF.
• 4. týden (L, 13. 10.):
  • přednáška – Spark basic, prezentace v PDF.
• 5. týden (S, 20. 10.):
  • přednáška – Architektury a security, prezentace v PDF.
  • cvičení Spark + průběžný test za 20b. ;
• 6. týden (L, 27. 10.):
  • přednáška – Spark advanced, prezentace v PDF.
• 7. týden (S, 3. 11.):
  • přednáška – Streaming, prezentace v PDF.
  • cvičení + náhradní průběžný test za 20b. ;
• 8. týden (L, 10. 11.):
  • přednáška – Kafka, prezentace v PDF.
• 9. týden (S, 17. 11.):
  • Statni svatek
• 10. týden (L, 24. 11.):
  • přednáška – Cloud general, prezentace v PPTX.
• 11. týden (S, 1. 12.):
  • přednáška – Azure, prezentace v PDF.
  • cvičení - Azure COVID-19 → nutné udělat přípravu !!! - prezentace v PDF;
  • Možnost získat 4 bonusové body - Pošlete do příští přednášky kód z notebooku a ukázku grafu z DataBricks.
• 12. týden (L, 8. 12.):
  • přednáška – Big Data Science, prezentace v PDF.
• 13. týden (S, 15. 12.):
  • přednáška – Elastic, prezentace v PDF.
  • cvičení + zápočtový test ;
• 14. týden (L, 5. 1.):
  • přednáška – AWS, serverless architektury, prezentace v PDF.

Pokud někdo nechce být uveden v tabulce, kontaktujte vyučující.

Lze jej získat:

• Zisk aspoň 30 bodů z 60 možných za průběžný test, domácí úkol a praktický test.
  • za průběžný test v půli semestru lze získat max. 20 bodů
  • za test z teorie a praxe na konci semestru lze získat max. 40 bodů

• Obsahem praktického testu jsou úlohy na zpracování dat pomocí Hadoopu a jeho technologií. Každý pracuje samostatně, ale je povoleno používat vlastní i internetové podklady: zápisky, vzorové kódy z přednášek i cvičení, Google, Stack Overflow apod.
• Praktický test je možné jednou opakovat v opravném termínu podle dohody s vyučujícím. Při opakování se výsledek prvního testu ruší a platí výsledek druhého testu, i kdyby byl horší než u prvního testu.

Má písemnou část za 30 a ústní za 10 bodů. Ústní je nepovinná, ale může vést k nutnosti opakování zkoušky, stejně jako zásadní neznalost z písemné části, která je povinná.

Termíny zkoušek budou vypsány v KOSu:

• 14.1. - koordinace přes uzavřený Teams kanál, 10 minutový abcd test a následně npovinná ústní

Každý termín se dělí na tři časové sloty po 20 minutách, do každého slotu se mohou zapsat 3-4 studenti (počet se řídí počtem zkoušejících, kteří jsou v daný čas k dispozici).

Marek Sušický

Hadoop: The Definitive Guide, 4th Edition, by Tom White