Warning
This page is located in archive.

B0B39MM1, BBB39MM1 – Multimedia 1

Úvodní informace

|Katedra počítačové grafiky a interakce

Tato stránka je oficiálním zdrojem informací pro studenty předmětu B0B39MM1 zaměření Multimédia bakalářského programu SIT a předmětu BBB39MM1 bakalářského programu Scénické technologie na Fakultě elektrotechnické Českého vysokého učení technického v Praze. Předmět je zajišťován Katedrou počítačové grafiky a interakce (K13139). Na výuce se podílí Katedra radioelektroniky (K13137). Praktickou část předmětu zajišťuje Institut intermédií (IIM) při FEL ČVUT v Praze.

  • Přednáška: Pondělí, 9:15 - 10:45, T2:C3-340
    • Ing. Roman Berka, Ph.D., berka (at) fel (dot) cvut (at) cz K139 - přednášky 1., 7.-14.
    • Ing. František Rund, Ph.D., xrund (at) fel (dot) cvut (dot) cz - K137 - přednášky 2., 3., 6.
    • Dr. Ing. Libor Husník, husnik (at) fel (dot) cvut (dot) cz - K137 - přednášky 4., 5.
  • Cvičení: Pondělí, 11:00, 12:45, 14:30 a 16:15, T2:H1-24c (Institut intermédií). T2:H1-24c, hledejte zamřížované dveře s označením T2:H1-25 v přízemní chodbě v halových laboratořích FEL)
    • Ing. Roman Berka, Ph.D., berka (at) fel (dot) cvut (at) cz - Katedra počítačové grafiky a interakce - cvičení 11:00, dílna II a IV.
    • Ing. Ondřej Slabý, slabyon3 (at) fel (dot) cvut (dot) cz - Katedra počítačové grafiky a interakce - cvičení 12:45, 14:30
    • Ing. Adam Zizien, zizieada (at) fel (dot) cvut (dot) cz- Katedra radioelektroniky - cvičení 16:15
    • Ing. Matěj Hužvár, huzvamat (at) fel (dot) cvut (dot) cz- Katedra radioelektroniky - cvičení 16:15
    • Ing. František Rund, Ph.D., xrund (at) fel (dot) cvut (dot) cz - Katedra radioelektroniky - cvičení Dílna I a II.

Doporučená literatura

Tým realizující předmět Multimédia I napsal učební text pro tento předmět. V lednu 2016 vyšla stejnojmenná skripta. Doporučujeme společně s přednáškami.

Multimedia I


Zkouškové termíny

viz KOS

Zápočtové termíny

  14. týden na cvičení
    

Předpokládané vstupní znalosti: schopnost algoritmizace, pojem spojité funkce, základní fyzikální pojmy (frekvence, rychlost, tlak), binární poziční soustava

Odkaz na předmět v Bílé knize: B0B39MM1. V případě odlišností má větší prioritu stránka předmětu zde.

Harmonogram přednášek a cvičení

Harmonogram přednášek Harmonogram cvičení
Týden Téma Téma
1 Úvod do multimédií. Signál a jeho metody popisu. Fourierova transformace. PDF Úvod
Seznámení s obsahem kurzu, vymezení pojmů, Fourierova transformace jako nástroj v multimédiích. Seznámení s předmětem, zadání semestrální práce, vytvoření dvoučlenných týmů. Úvod do prostředí jazyka Python. Instalace prostředí, struktura programu, datové struktury, řídící struktury, std. vstup-výstup. Ukázky. Návod: Instalace Pythonu a knihoven
2 Zvukové signály, popis a vnímání zvuku PDF Konzultace k projektům
Klasifikace zvukových signálů. Vnímání zvukových signálů, princip maskování a jeho využití při kompresi signálů. Ukázky knihovny pyo a opencv, konzultace ke konceptu semestrálních prací.
3 Číslicové zpracování zvukových signálů PDF Zpracování zvuku - dílna I
Číslicové zpracování zvukových signálů. Vliv číslicového zpracování zvukových signálů na jejich vnímání. Komprese zvukových signálů. Zpracování a analýza signálů v reálném čase (využití knihovny pyo) PDF
4 Prostorová akustika PDF Konzultace k projektům
Šíření zvuku v uzavřených prostorech. Vlnová akustika, geometrická akustika a statistická akustika. Akustika uzavřených prostor. Auralizace. Použití knihoven wxpython a opencv. Ukázky.
5 Technická zařízení pro snímání a reprodukci zvuku PDF Konzultace k projektům
Zdroje a šíření zvukových signálů. Snímání zvukových signálů, mikrofony. Reprodukce zvukových signálů, reproduktory a reproduktorové soustavy. Pokračování v tréningu na ukázkových úlohách, wxpython, opencv.
6 Svátek - -
7 Přístupy pro reprezentaci zvuku v prostoru a jejich aplikace v multimédiích a VR PDF Snímání a reprodukce zvuku - dílna II
Základy směrového slyšení. Binaurální reprodukce, WFS, stereo a surround systémy, Ambisonie, objektový zvuk. Snímání a reprodukce (vícekanálového) zvuku. - místnost T2:B3-554
8 Snímání a záznam obrazu, technická zařízení PDF TEST I / konzultace
Digitální kamera a digitální fotoaparát, součásti kamery, ovládací prvky kamery a jejich používání, základní pravidla při pořizování záznamu, záznam DV a DVCAM. Speciální kamery. TEST - snímání, reprodukce a zpracování zvuku
9 Zpracování videa a jeho distribuce: střihové aplikace, kompozice videa PDF Snímání videa - dílna III
Základní pravidla střihové skladby, proces produkce filmu. Ukázky trikových technik, pojmy maskování, klíčování, kompozice. Snímání a streamování videa, green-screen, stereoskopické video materiál
10 Stereoskopie PDF Konzultace k projektům
Binokulární vidění. Přehled principů stereoskopického zobrazování, metody vytváření stereoskopického obsahu. Používání protokolů artnet a midi.
11 Osvětlování a osvětlovací technika, řídící protokoly ArtNET a DMX512 PDF Světelná technika - dílna IV
Světelné zdroje, dálkově ovládaná zařízení pro multimediální efekty, řídící protokoly DMX515, ArtNET. Světelné zdroje, a řízení světelného parku. Protokoly DMX512 a ARtNET, materiál, Lightplot, Scéna pro SW Capture.
12 Ukládání obrazu a videa, datové formáty, distribuční formáty, archivace multimediálního obsahu PDF Konzultace k projektům
Vymezení pojmů. Metody komprese obrazu a videa RLE, Huffman, JPEG, MPEG. Formáty pro ukládání rastrových a vektorových dat. Testování a ladění dílčích částí semestrálních projektů.
13 Snímání pohybu a interakce PDF TEST II / konzultace
Technologie a principy pro snímání pohybu. TEST / konzultace dle potřeby jednotlivců.
14 Prezentace multimediálního obsahu PDF Prezentace projektů
Prezentační technologie, principy projekčních zařízení. Problematika poměru stran, prokládání a konverze snímkové frekvence. Prezentace projektů, hodnocení, zápočet.
Podtržené názvy ve výše uvedené tabulce znamenají povinná cvičení. Doporučujeme ale absolvovat co nejvíce přednášek i cvičení pro úspěšné zakončení předmětu u zkoušky.

Průběžný stav hodnocení

Výsledky testu 1 - audio

datum testu odkaz na výsledky datum opravného testu
11.11.2024 test I 25.11.2024
25.11.2024 test I -opravy 9.12.2024
9.12.2024 test I -opravy 8.1.2025
8.1.2025 test I -opravy 13.1.2025

Výsledky testu 2 - video

datum testu odkaz na výsledky datum opravného testu
16.12.2024 test2-12-24 8.1.2025 10:30h H1-25 IIM
8.1.2025 test2-8-1-25 13.1.2025 9:15h H1-25 IIM
13.1.2025 test2-13-1-25 17.1.2025 9:15h H1-25 IIM
17.1.2025 test{1,2}-17-1-25 21.1.2025 9:15h H1-25 IIM
21.1.2025 test{1,2}-21-1-25 22.1.2025 9:15h H1-25 IIM
22.1.2025 test{1,2}-22-1-25 27.1.2025 9:15h H1-25 IIM
27.1.2025 test{2}-27-1-25 30.1.2025 9:15h H1-25 IIM

Prezentace a semestrální práce

Odkaz na tabulku zde.

Pravidla předmětu

  1. Semestrální práce bude zadána nejpozději v 2. týdnu
  2. Prezentace projektů bude probíhat ve 14. týdnu.
  3. V průběhu semestru budou 2 testy uzavírající jednotlivé tematické celky (zvuk, video).
  4. V každém testu budou 4 otázky po 2 bodech. Minimální zisk je 5 bodů (jinak bude test opakován, maximálně však 2x).
  5. Zkouška je povinná.
  6. Před zkouškou je nutné získat zápočet.
  7. Zkouška se skládá z písemného testu a ústní části a pokrývá témata přednášek.
  8. Ke získání zápočtu je potřeba kompletně odevzdat semestrální práci (viz Kritéria), absolvovat prezentaci projektu v době cvičení ve 14. týdnu a oba 2 testy. To vše se ziskem alespoň 20 bodů.

Celkové bodové hodnocení

Body za semestr (pro získání zápočtu)

K získání zápočtu je potřeba získat minimum 20 bodů.
Body nad 30 budou připočteny k zisku u zkoušky.
  • Semestrální úloha 24b
  • Průběžná práce (2 testy po 8b.) 16b
  • Prezentace 10b
  • Celkem 50b

Body u zkoušky (pro získání/výpočet známky)

  • Zkouškový test 60b
  • Zkouška 40b
  • Celkem 100b

Zkouška je povinná.

Ukázka otázek pro testy průběžné práce

Pozn: Součástí každé odpovědi je i vysvětlení symbolů, uvedení jednotek, popisky obrázků, os, apod.

  1. Jaká vlnová délka odpovídá kmitočtu 20 Hz? - stačí náznak výpočtu a numerický odhad, pro vzduch, normální podmínky.
  2. Jakou podmínku týkající se kmitočtového rozsahu číslicově zpracovávaných signálů musíme splnit při jejich vzorkování? Uveďte konkrétní příklad.
  3. Schematicky nakreslete (včetně popisu) řez elektrodynamickým reproduktorem a vysvětlete princip funkce.
  4. Načrtněte časový průběh a kmitočtové spektrum “diracova impulzu” (jednotkového impulzu).
  5. Co je ekvivalentní ohnisková vzdálenost? Jaká bude ekv. ohnisková vzdálenost 150mm objektivu na těle fotoaparátu s ořezovým činitelem (crop factor) 1.6?
  6. Popište vztah, který určuje barvu pixelu po smíchání stejnolehlého pixelu popředí a pozadí s udanými hodnotami alfakanálu.
  7. Jaký význam při kompresi JPEG má DCT?
  8. Jak funguje pasivní stereoskopická projekce jako technika separace signálu při projekci pro levý a pravý kanál?

Klasifikace

Známka Zisk
A 90-100
B 80-89
C 70-79
D 60-69
E 50-59
F 0-49

Semestrální úlohy

Kritéria pro hodnocení semestrálních úloh

Všichni budou řešit jednotnou úlohu spočívající v produkci procedurálně generovaného obrazu a zvuku. Na řešení budou pracovat dvoučlenné týmy. Při hodnocení jejich výstupu budou zohledněna následující kritéria:

  1. provázanost obrazu a zvuku
  2. míra interaktivity
  3. vlastní operace nad zvukovým signálem
  4. vlastní operace nad obrazovým signálem
  5. architektura návrhu (dekompozice na třídy případně moduly)
  6. komentáře v kódu

Zadání

Semestrální práce - obecné zadání: Vytvořte aplikaci, která umožní syntézu zvukového signálu, obrazu a světelného doprovodu na základě vstupu uživatele. K realizaci využijte prostředí Python s knihovnami pyo, wxpython, opencv, protokolů artnet nebo MIDI. Podporované prostředí je linux, windows nebo MAC-OS.

Pro upřesnění si vyberte jedno z následujících zadání a ve spolupráci s cvičícími je modifikujte pro sebe.

  1. Vytvořte aplikaci, která na základě vstupů od uživatele bude pomocí syntézy generovat ruchy pocházející z různých procesů (náraz dvou kovových objektů, pád kovové kuličky na podlahu, cvakání, klapání apod.). Vizuálně doprovoďte stavovými informacemi.
  2. Naiplmenetujte aplikaci, která bude fungovat jako sampler. Uživatel bude pokládat do rastru pixely a aplikace je bude skenovat a na jejich základě vydávat zvuky různých tónů a materiálů (obdoba válce s trny do orchestrionu nebo flašinetu). Bude možné regulovat rychlost skenování případně počet skenů.
  3. Vytvořte aplikaci, která má na vstupu zvukový záznam a na výstupu daný záznam upravený pomocí efektů echo, zpoždění,… Aplikace bude zobrazovat stavové informace nastavení efektů.
  4. Vytvořte jednoduchou hru s bludištěm a generovanými syntetickými zvuky.
  5. Vytvořte hru ovládanou pískáním a výškou tónu (např. tetris).
Kdo odevzdal a nebyla mu práce vrácena, má nárok na zápočet, ale nikoliv nárok na všechny body.

Obsah odevzdaného projektu

Projekt bude odevzdaný v ZIP balíčku tak, aby bylo možné vaše zdrojové soubory spustit. Balíček bude obsahovat:

  1. pouze vámi vytvořené zdrojové kódy ve vlastní adresářové struktuře
  2. textový soubor README v kořenovém adresáři struktury s popisem obsahu balíčku
  3. datové např. zvukové a vaše konfiguračními soubory
  4. video, nebo screenshot s náhledem běžící aplikace
  5. závěrečná zpráva v PDF formátu max 5str. (popis záměru + inspirace, teoretický návrh - použijte např. schéma a popište, popis řešení, návod na spuštění a popisem parametrů a ovládání)

ZIP balíček je možné vytvořit selektivním sbalením pouze vybraných souborů se zachováním relativních cest. Odevzdání balíčků prosřednictvím některého úložiště (dropbox, filesender) během zápočtového týdnu.

Odkazy na materiály

Velká část aktivit na cvičení se bude odehrávat za použití několika knihoven jazyka Python. To proto, aby studenti měli průpravu pro realizaci semestrální práce, která se bude odehrávat ve stejném prostředí. K Pythonu i k těmto knihovnám je k dispozici velké množství dokumentace a příkladů. Některé jsou uvedeny níže a další si určitě najdete.

  1. WXPython knihovna pro tvorbu grafického rozhraní (využívá jí PYO) https://wxpython.org/index.html
  2. ArtNET - modul pro ovládání světel. Existují cca 2 knihovny, ale pro účely předmětu jsme vám připravili jednoduché ukázky, které postačí a které najdete ve zdrojových kódech příkladů.
  3. Ukázkové příklady - ke stažení zde: python-examples-master.zip, prohlédnout si je můžete v repozitáři zde: https://gitlab.fel.cvut.cz/mm1/python-examples
  4. Capture - aplikace, která umožňuje modelovat osvětlení prostorů vč. ovládání pomocí protokolu ArtNET. Vhodné pro testování semestrálních prací - packety ArtNET pak stačí odesílat na lokální adresu 127.0.0.1. Ke stažení studentská verze zde (na stránce dole): https://www.capture.se/Downloads/Download-Capture (motorizované světlo použité ve 4. dílně, Martin Rush MH1 Profile, bohužel v této verzi Capture není, můžete si ale najít dokumentaci jednotlivých kanálů, nebo na testování použít QLC+ jako v dílně - ovládání světla začíná na kanálu 101)
courses/mm1/start.txt · Last modified: 2025/01/27 17:12 by berka