Table of Contents

B0B39MM1, BBB39MM1 – Multimedia 1

Úvodní informace

|Katedra počítačové grafiky a interakce

Tato stránka je oficiálním zdrojem informací pro studenty předmětu B0B39MM1 zaměření Multimédia bakalářského programu SIT a předmětu BBB39MM1 bakalářského programu Scénické technologie na Fakultě elektrotechnické Českého vysokého učení technického v Praze. Předmět je zajišťován Katedrou počítačové grafiky a interakce (K13139). Na výuce se podílí Katedra radioelektroniky (K13137). Praktickou část předmětu zajišťuje Institut intermédií (IIM) při FEL ČVUT v Praze.

Doporučená literatura

Tým realizující předmět Multimédia I napsal učební text pro tento předmět. V lednu 2016 vyšla stejnojmenná skripta. Doporučujeme společně s přednáškami.

Multimedia I

Zkouškové termíny

viz KOS

Zápočtové termíny 

  14. týden na cvičení

Předpokládané vstupní znalosti: schopnost algoritmizace, pojem spojité funkce, základní fyzikální pojmy (frekvence, rychlost, tlak), binární poziční soustava

Odkaz na předmět v Bílé knize: B0B39MM1. V případě odlišností má větší prioritu stránka předmětu zde.

Harmonogram přednášek a cvičení

Harmonogram přednášek Harmonogram cvičení
Týden Téma Téma
1 Úvod do multimédií. Signál a jeho metody popisu. Fourierova transformace. PDF Úvod
Seznámení s obsahem kurzu, vymezení pojmů, Fourierova transformace jako nástroj v multimédiích. Seznámení s předmětem, zadání semestrální práce, vytvoření dvoučlenných týmů. Úvod do prostředí jazyka Python. Instalace prostředí, struktura programu, datové struktury, řídící struktury, std. vstup-výstup. Ukázky. Návod: Instalace Pythonu a knihoven
2 Zvukové signály, popis a vnímání zvuku PDF Konzultace k projektům
Klasifikace zvukových signálů. Vnímání zvukových signálů, princip maskování a jeho využití při kompresi signálů. Ukázky knihovny pyo a opencv, konzultace ke konceptu semestrálních prací.
3 Číslicové zpracování zvukových signálů PDF Zpracování zvuku - dílna I
Číslicové zpracování zvukových signálů. Vliv číslicového zpracování zvukových signálů na jejich vnímání. Komprese zvukových signálů. Zpracování a analýza signálů v reálném čase (využití knihovny pyo) PDF
4 Prostorová akustika PDF Konzultace k projektům
Šíření zvuku v uzavřených prostorech. Vlnová akustika, geometrická akustika a statistická akustika. Akustika uzavřených prostor. Auralizace. Použití knihoven wxpython a opencv. Ukázky.
5 Technická zařízení pro snímání a reprodukci zvuku PDF Snímání a reprodukce zvuku - dílna II
Zdroje a šíření zvukových signálů. Snímání zvukových signálů, mikrofony. Reprodukce zvukových signálů, reproduktory a reproduktorové soustavy. Snímání a reprodukce (vícekanálového) zvuku. Nainstalujte si Audacity, případně i USB driver ke zvukové kartě Steinberg UR22 mk II
6 Přístupy pro reprezentaci zvuku v prostoru a jejich aplikace v multimédiích a VR PDF Operace se zvukovým signálem - opakování
Základy směrového slyšení. Binaurální reprodukce, WFS, stereo a surround systémy, Ambisonie, objektový zvuk. Praktické cvičení operací se zvukem, aditivní a subtraktivní syntéza, aj.
7 Snímání a záznam obrazu: Fotoaparáty, senzory, expozice, optika. PDF TEST I / konzultace
Fyzikální princip snímání obrazu, digitální fotoaparát, optika, expozice. TEST - snímání, reprodukce a zpracování zvuku
8 Snímání a záznam obrazu II: Kamera, média, parametry, pravidla snímání, kompozice. PDF Snímání videa - dílna III
Kamera a její součásti, záznamová média, standardy pro přenos videa. Základní pravidla snímání videa. Kompozice obrazu. Snímání a streamování videa, green-screen, stereoskopické video materiál
9 Svátek - -
10 Osvětlování a osvětlovací technika, řídící protokoly ArtNET a DMX512 PDF Řízení světelného parku - příprava
Světelné zdroje, dálkově ovládaná zařízení pro multimediální efekty, řídící protokoly DMX515, ArtNET. Používání protokolů artnet a midi.
11 Stereoskopie PDF Světelná technika - dílna IV
Binokulární vidění. Přehled principů stereoskopického zobrazování, metody vytváření stereoskopického obsahu. Světelné zdroje, a řízení světelného parku. Protokoly DMX512 a ARtNET, materiál, Lightplot, Scéna pro SW Capture.
12 Ukládání obrazu a videa, datové formáty, distribuční formáty, archivace multimediálního obsahu PDF Konzultace k projektům
Vymezení pojmů. Metody komprese obrazu a videa RLE, Huffman, JPEG, MPEG. Formáty pro ukládání rastrových a vektorových dat. Testování a ladění dílčích částí semestrálních projektů.
13 Snímání pohybu a interakce PDF TEST II / konzultace
Technologie a principy pro snímání pohybu. TEST / konzultace dle potřeby jednotlivců.
14 Prezentace multimediálního obsahu PDF Prezentace projektů
Prezentační technologie, principy projekčních zařízení. Problematika poměru stran, prokládání a konverze snímkové frekvence. Prezentace projektů, hodnocení, zápočet.
Podtržené názvy ve výše uvedené tabulce znamenají povinná cvičení. Doporučujeme ale absolvovat co nejvíce přednášek i cvičení pro úspěšné zakončení předmětu u zkoušky.

Průběžný stav hodnocení

Výsledky testu 1 - audio

Výsledky testu 2 - video

datum testu odkaz na výsledky datum opravného testu

Prezentace a semestrální práce

Odkaz na tabulku bude zde.

Pravidla předmětu

  1. Semestrální práce bude zadána nejpozději v 2. týdnu
  2. Prezentace projektů bude probíhat ve 14. týdnu.
  3. V průběhu semestru budou 2 testy uzavírající jednotlivé tematické celky (zvuk, video).
  4. V každém testu budou 4 otázky po 2 bodech. Minimální zisk je 5 bodů (jinak bude test opakován, maximálně však 2x).
  5. Zkouška je povinná.
  6. Před zkouškou je nutné získat zápočet.
  7. Zkouška se skládá z písemného testu a ústní části a pokrývá témata přednášek.
  8. Ke získání zápočtu je potřeba kompletně odevzdat semestrální práci (viz Kritéria), absolvovat prezentaci projektu v době cvičení ve 14. týdnu a oba 2 testy. To vše se ziskem alespoň 20 bodů.

Celkové bodové hodnocení

Body za semestr (pro získání zápočtu)

K získání zápočtu je potřeba získat minimum 20 bodů.
Body nad 30 budou připočteny k zisku u zkoušky.

Body u zkoušky (pro získání/výpočet známky)

Zkouška je povinná.

Ukázka otázek pro testy průběžné práce

Pozn: Součástí každé odpovědi je i vysvětlení symbolů, uvedení jednotek, popisky obrázků, os, apod.

  1. Jaká vlnová délka odpovídá kmitočtu 20 Hz? - stačí náznak výpočtu a numerický odhad, pro vzduch, normální podmínky.
  2. Jakou podmínku týkající se kmitočtového rozsahu číslicově zpracovávaných signálů musíme splnit při jejich vzorkování? Uveďte konkrétní příklad.
  3. Schematicky nakreslete (včetně popisu) řez elektrodynamickým reproduktorem a vysvětlete princip funkce.
  4. Načrtněte časový průběh a kmitočtové spektrum “diracova impulzu” (jednotkového impulzu).
  5. Co je ekvivalentní ohnisková vzdálenost? Jaká bude ekv. ohnisková vzdálenost 150mm objektivu na těle fotoaparátu s ořezovým činitelem (crop factor) 1.6?
  6. Popište vztah, který určuje barvu pixelu po smíchání stejnolehlého pixelu popředí a pozadí s udanými hodnotami alfakanálu.
  7. Jaký význam při kompresi JPEG má DCT?
  8. Jak funguje pasivní stereoskopická projekce jako technika separace signálu při projekci pro levý a pravý kanál?

Klasifikace

Známka Zisk
A 90-100
B 80-89
C 70-79
D 60-69
E 50-59
F 0-49

Semestrální úlohy

Kritéria pro hodnocení semestrálních úloh

Všichni budou řešit jednotnou úlohu spočívající v produkci procedurálně generovaného obrazu a zvuku. Na řešení budou pracovat dvoučlenné týmy. Při hodnocení jejich výstupu budou zohledněna následující kritéria:

  1. provázanost obrazu a zvuku
  2. míra interaktivity
  3. vlastní operace nad zvukovým signálem
  4. vlastní operace nad obrazovým signálem
  5. architektura návrhu (dekompozice na třídy případně moduly)
  6. komentáře v kódu

Zadání

Semestrální práce - obecné zadání: Vytvořte aplikaci, která umožní syntézu zvukového signálu, obrazu a světelného doprovodu na základě vstupu uživatele. K realizaci využijte prostředí Python s knihovnami pyo, wxpython, opencv, protokolů artnet nebo MIDI. Podporované prostředí je linux, windows nebo MAC-OS.

Pro upřesnění si vyberte jedno z následujících zadání a ve spolupráci s cvičícími je modifikujte pro sebe.

  1. Vytvořte aplikaci, která na základě vstupů od uživatele bude pomocí syntézy generovat ruchy pocházející z různých procesů (náraz dvou kovových objektů, pád kovové kuličky na podlahu, cvakání, klapání apod.). Vizuálně doprovoďte stavovými informacemi.
  2. Naiplmenetujte aplikaci, která bude fungovat jako sampler. Uživatel bude pokládat do rastru pixely a aplikace je bude skenovat a na jejich základě vydávat zvuky různých tónů a materiálů (obdoba válce s trny do orchestrionu nebo flašinetu). Bude možné regulovat rychlost skenování případně počet skenů.
  3. Vytvořte aplikaci, která má na vstupu zvukový záznam a na výstupu daný záznam upravený pomocí efektů echo, zpoždění,… Aplikace bude zobrazovat stavové informace nastavení efektů.
  4. Vytvořte jednoduchou hru s bludištěm a generovanými syntetickými zvuky.
  5. Vytvořte hru ovládanou pískáním a výškou tónu (např. tetris).
Kdo odevzdal a nebyla mu práce vrácena, má nárok na zápočet, ale nikoliv nárok na všechny body.

Obsah odevzdaného projektu

Projekt bude odevzdaný v ZIP balíčku tak, aby bylo možné vaše zdrojové soubory spustit. Balíček bude obsahovat:

  1. pouze vámi vytvořené zdrojové kódy ve vlastní adresářové struktuře
  2. textový soubor README v kořenovém adresáři struktury s popisem obsahu balíčku
  3. datové např. zvukové a vaše konfiguračními soubory
  4. video, nebo screenshot s náhledem běžící aplikace
  5. závěrečná zpráva v PDF formátu max 5str. (popis záměru + inspirace, teoretický návrh - použijte např. schéma a popište, popis řešení, návod na spuštění a popisem parametrů a ovládání)

ZIP balíček je možné vytvořit selektivním sbalením pouze vybraných souborů se zachováním relativních cest. Odevzdání balíčků prosřednictvím některého úložiště (dropbox, filesender) během zápočtového týdnu.

Odkazy na materiály

Velká část aktivit na cvičení se bude odehrávat za použití několika knihoven jazyka Python. To proto, aby studenti měli průpravu pro realizaci semestrální práce, která se bude odehrávat ve stejném prostředí. K Pythonu i k těmto knihovnám je k dispozici velké množství dokumentace a příkladů. Některé jsou uvedeny níže a další si určitě najdete.

  1. Pyo - knihovna pro zvuk: http://ajaxsoundstudio.com/software/pyo/, Dokumentace: http://ajaxsoundstudio.com/pyodoc/#
  2. Opencv - práce s obrázky a videem: https://pypi.org/project/opencv-python/#files, Dokumentace: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
  3. WXPython knihovna pro tvorbu grafického rozhraní (využívá jí PYO) https://wxpython.org/index.html
  4. ArtNET - modul pro ovládání světel. Existují cca 2 knihovny, ale pro účely předmětu jsme vám připravili jednoduché ukázky, které postačí a které najdete ve zdrojových kódech příkladů.
  5. Python - k pythonu je mnoho zdrojů. Např. zde https://www.freecodecamp.org/news/the-python-guide-for-beginners/ nebo zde https://www.geeksforgeeks.org/getting-started-with-python-programming
  6. Ukázkové příklady - ke stažení zde: python-examples-master.zip, prohlédnout si je můžete v repozitáři zde: https://gitlab.fel.cvut.cz/mm1/python-examples
  7. Capture - aplikace, která umožňuje modelovat osvětlení prostorů vč. ovládání pomocí protokolu ArtNET. Vhodné pro testování semestrálních prací - packety ArtNET pak stačí odesílat na lokální adresu 127.0.0.1. Ke stažení studentská verze zde (na stránce dole): https://www.capture.se/Downloads/Download-Capture (motorizované světlo použité ve 4. dílně, Martin Rush MH1 Profile, bohužel v této verzi Capture není, můžete si ale najít dokumentaci jednotlivých kanálů, nebo na testování použít QLC+ jako v dílně - ovládání světla začíná na kanálu 101)