NoSQL - Hadoop and Pig

NoSQL zmamená Not only SQL. Relaxací na některé podmínky RDBMS (konzistence, …) získáme flexibilní a škálovatelnou DB. NoSQL databází máme několik tříd (viz přednáška)

Apache Hadoop je open-source framework pro ukládání velkých dat. Pig je “dotazovací jazyk” nad Hadoop. Hadoop implementuje Map-Reduce:

• map - pracuje s jedním záznamem a vrací jej jako key-value pair
• reduce - agreguje key-value

Stáhněte si Hadoop sandbox (pozor má více jak 2GB) a spusťte na http://127.0.0.1:8000/. Zkuste si příklad.

Jako další úkol agregujte hráče podle yearID a vypište výsledek sestupně.