ARO – B3M33ARO

BE3M33ARO – Autonomous robotics, summer semester 2018/2019: For description in English, consult the second half of this web page.

B3M33ARO – Autonomní robotika, letní semestr 2018/2019

Cíl předmětu

Předmět naučí principům umožňující vytvářet/užívat roboty schopné vnímat okolní svět a porozumět mu, plánovat aktivitu robotů s kognitivními schopnostmi v něm včetně možnosti svět aktivně ovlivňovat. Budou vysvětleny různé architektury robotů a jejich technické realizace. Studenti ve cvičeních budou s kognitivními roboty prakticky experimentovat. Studovaná látka má širší použitelnost při návrhu a stavbě inteligentních strojů.

Podrobněji viz Východiska předmětu B3M33ARO Autonomní robotika.

Přednášky: pondělí 10:00-12:15, KN:E-107

Přednášející: Václav Hlaváč (VH) a Karel Zimmermann (KZ). VH v několika následujících letech postupně předává přednášení předmětu KZ. Jednu přednášku (13. 5.) bude mít o kráčejících humanoidních robotech host ÚTIA AV ČR prof. Sergej Čelikovský (SČ). Rozložením zkouškových přednášek v čase pobízíme studenta k průběžnému studiu. Na dvou přednáškách budeme psát zkouškovou písemku rozdělenou na dvě části.

č.t. datum Obsah Prezentace
1 18. 2. 2019 VH Autonomní robotika, přehled kurzu. Geometrie pro kinematiku. Kinematika Studenti si mají před přednáškou občerstvit znalosti z lineární algebry. Geometry for robotics, Kinematics
2 25. 2. 2019 KZ Robot s RGB+D senzory. robot_lidar_camera.pdf lecture_notes_robot_camera_lidar.pdf
3 4. 3. 2019 KZ SLAM z RGB+D. mapping_lidar_camera.pdf lecture_notes_slam.pdf
4 11. 3. 2019 VH Grafy a úlohy na nich. Deterministické plánování. Graphs and graph algorithms, Deterministic planning
5 18. 3. 2019 KZ Classification, Regression, ConvNets learning_for_vision_i.pdf learning_for_vision_ii.pdf
6 25. 3. 2019 KZ Deep learning: Layers + Learning learning_for_vision_iii_training.pdf learning_for_vision_iv_layers.pdf
7 1. 4. 2019 KZ Deep learning: Architectures. + Test 1. learning_for_vision_v_architectures.pdf
8 8. 4. 2019 VH Řídicí architektury robotů; reprezentace světa robotu. Autonomus robots, architectures, Representation for reasoning
9 15. 4. 2019 KZ Plánování cesty robotů, náhodné metody. overview_mapping.pdf reinforcement_learning.pdf motion_planning.pdf
10 22. 4. 2019 Státní svátek. Velikonoční pondělí, bez přednášky
11 29. 4. 2019 VH Generování trajektorie robotu. Generating trajectory
12 6. 5. 2019 VH Aplikace: Silově poddajný robot. Hmat v robotice. Manipulační úlohy. Chapadla. Tactile robotics, Force/torque ompliant robot
13 13. 5. 2019 SČ Aplikace: Chůze humanoidních robotů
14 20. 5. 2019 VH Teoretické a společenské aspekty autonomní robotiky. Test 2. V přípravě

Průsvitky všech zveřejněných přednášek V. Hlaváče z různých předmětů jsou k dispozici buď anglicky nebo česky, někdy v obou jazycích. Průsvitky v tomto úložišti se obnovují nejčastěji.

Očekávaná předběžná znalost pro přednášku nebo cvičení

U studentů předmětu Autonomnní robotika se očekává schopnost rozumět pojmům a pracovat s nimi, a to z matematické analýzy, lineární algebry, pravděpodobnosti a statistiky. Dále se očekává schopnost programovat v MATLABu a Pythonu. Předmět nemá opakovat znalosti z předmětů, které se vyučovaly v bakalářském studiu Kybernetiky a robotiky. Pokud bychom všechno opakovali, předmět by byl příliš mělký.

Může se stát, že student nestudoval předmět, v němž se probírala očekávaná předběžná znalost pro předmět Autonomní robotika. Potom si student má občerstvit svoji znalost sám.

Nabízíme studentům pomoc pro jejich osvěžování znalosti odkazem na prezentace na přednáškách pro požadovanou znalost. Prezentace jsem připravil buď já (Václav Hlaváč), nebo kolegové Michal Reinštein (dřívější cvičící předmětu), Karel Zimmermann a další kolegové.

Cvičení

Cvičení: laboratorní cvičení s autonomními roboty TurtlerBot.

Cvičící: Doc. Ing. Karel Zimmermann, Ph.D. (vedoucí cvičení), Mgr. Ondřej Holešovský, Ing. Tomáš Petříček, Ph.D., Ing. V.Šalanský, Mgr. Radoslav Škoviera, Ph.D. Detaily ke cvičením jsou uvedeny v samostatné sekci autonomous robotics labs.

Upozornění: Podle Studijního a zkušebního řádu ČVUT je navštěvování přednášek nepovinné. Pro návštěvu cvičení ovšem požadujeme teoretickou znalost procvičované problematiky (podle programu cvičení), která bude vyučována na předcházejících přednáškách. Když student chce, může si látku před cvičením doplnit z doporučené literatury.

Testy a okruhy očekávaných znalostí

  • Písemná část zkoušky probíhá formou dvou testů psaných na dvou vybraných přednáškách, první test v polovině semestru a druhý na konci semestru. Na těchto přednáškách se testu věnuje půlhodina. Obsahem testu je látka probíraná na přednáškách a také předběžná znalost. V testu budou jak otázky očekávající slovní odpověď tak i početní příklady.
  • Test 1 (1. 4. 2019)
    • Popis přechodu mezi souřadnými systémy sensorů a světa.
    • Různé definice robotu. Části robotu. Kinematické dvojice. Kartézské a kloubové souřadnice. Konfigurační prostor.
    • Geometrie jedné kamery. Projektivní zobrazení. Vnitřní a vnější kalibrační parametry kamery.
    • Hloubková mapa: princip lidaru, sterea a realsensu.
    • Matematická formulace problému vzájemná kalibrace senzorů (kamera-kamera, kamera-lidar, lidar-lidar).
    • Matematická formulace úlohy současného mapování a lokalizace ze senzorů (kamera, lidar).
    • Hluboké učení v robotice: struktura konvoluční sítě, přímý a zpětný průchod (backprop.), ztrátové funkce.
    • Současná lokalizace a mapování (SLAM).
    • Základní úlohy na grafech. Nejkratší cesta. Minimální kostra a další. Jejich použití v robotice.
  • Test 2 (20. 5. 2019)
    • Základy pojmy teorie pravděpodobnosti. Rozdíl mezi teorií pravděpodobnosti a statistikou. Náhodná veličina, nezávislost, podmíněná pravděpodonbost, Bayesův vztah a jeho význam. Distribuční funkce a hustota pravděpodobnosti. Náhodný vektor a jeho popis.
    • Architektury robotů, přemýšlivá (klasická), reaktivní, vrstvená architektura (subsumption architecture). Hybridní architektura. Základní principy a příklady. Výhody a nevýhody.
    • Reprezentace světa robotů, mřížka obsazenosti, metrická a topologická mapa, abstraktnější reprezentace grafy.
    • Trajektorie manipulátoru, její matematické vyjádření z pohledu aproximace. Aproximace polynomy.
    • Plánování v robotice obecně a specifičtěji plánování cesty. Deterministické a pravděpodobnostní algoritmy plánování.
    • Mapa světa robotu, její vytváření, obnovování.
    • Silově poddajný robot
    • Taktilní čidla a zpracování taktilní informace v robotice. Základní úlohy taktilní zpětné vazby. Příklady.
    • Manipulační úlohy v robotice.
  • Nahradní test (23. 5. 2019 v 8:30) v budově ČVUT-CIIRC, Jugoslávských partyzánů 1580/3, JP:B-670 v šestém patře. Test je určen studentům, kteří nepsali řádné testy ze závažných důvodů. Náhradní test bude obsahovat látku probíranou během celého předmětu. V den náhradního testu ověříme rozhovorem se studentem důvody, proč nepsal řádný test. Není potřebné se z neúčasti na řádných testech omlouvat. V náhradním termínu lze nahradit jen jeden chybějící test. Zvláštní přístup zvolíme jen pro studenty s velmi závažnými důvody, např. nemocnými půl semestru. Tito studenti nechť dají o svých důvodech vědět přednášejícímu s dostatečným předstihem.

Podmínky získání zápočtu

Splnění a odevzdání úlohy ve cvičení podle podmínek cvičení. Napsání všech tří hodnocených testů.

Doporučená literatura

  1. Siciliano, Bruno and Sciavicco, Lorenzo and Villani, Luigi and Oriolo, Giuseppe: Robotics, Modelling, Planning and Control, Springer 2009
  2. Fahimi, F.: Autonomous Robots: Modeling, Path Planning, and Control, Springer 2009
  3. Steven M. LaValle. Planning Algorithms, Cambridge University Press, 2006. (volně na internetu, http://planning.cs.uiuc.edu/)
  4. B. Siciliano, O. Khatib (editoři). Handbook of Robotics, Springer-Verlag, Berlin 2008.
  5. P. Vysoký: Padesát let kybernetiky. Vesmír, svazek 77, listopad 1998, ss. 626-633. Padesát let kybernetiky

Hodnocení studenta v předmětu a hodnocení známkou u zkoušky

Výkon ve cvičení je hodnocen maximálně 40 body. Zkouška se skládá z písemné a ústní části.

Písemná část zkoušky je ohodnocena nejvýše 30 body. Písemná část je rozdělena do dovou testů psaných na přednášce. Každý z těchto testů je hodnocen nejvýše 15 body. Podrobnosti o testech viz výše. Okruhy pro písemku budou zveřejněny nejpozději jeden týden před testem.

K ústní zkoušce se mohou přihlásit pouze studenti, kteří získali zápočet ze cvičení. U ústní zkoušky lze dosáhnout nejvýše 30 bodů. Při zkoušce si student vylosuje dvě otázky pokrývající látku předmětu, na něž bude po asi pětiminutové přípravě odpovídat.

Celkové hodnocení předmětu je podle následující tabulky.

Počet bodů Hodnocení zkoušky
0-49 neprospěl, F
50- 59 dostatečně, E
60-69 uspokojivě, D
70-79 dobře, C
80-89 velmi dobře, B
90-100 výborně, A

Opisování

Opisování považuji za nepřípustné. Bude-li student při písemce přistižen při opisování, bude z písemky hodnocen nula body bez možnosti psát písemku znovu. U odevzdaných úloh je opisování kontrolováno a srovnáváno s pracemi jiných. Opisování bude v předmětu trestáno. Dále bude studijní oddělení FEL ČVUT požádáno, aby opisování zaznamenalo do studijní dokumentace studenta.

Přání studentům

Přeji studentům, ať se jim látka Autonomní robotiky líbí a dobře studuje. Těším se na zpětnou vazbu a podněty k vylepšení. Mluvte se mnou buď po přednášce nebo mi pošlete email.

V. Hlaváč, 10. února 2019

BE3M33ARO – Autonomous robotics, summer semester 2018/2019

The subject aims

The subject will teach students the principles needed to create/use robots able to perceive the surrounding world and understand it, plan the activity of robots with in its world including the possibility to modify it. Architectures of robots with cognitive abilities will be explained and their implementations demonstrated. Students will experiment in labs/exercises with robots. The studied matter has a wider applicability in designing and building of intelligent machines.

Lectures: Monday 10:00-12:15, KN:E-107

Lecturer: Václav Hlaváč (VH, default) with the occasional help of Karel Zimmermann (KZ).

The shorter part of three lectures (about 35 minutes) is dedicated to writing the exam written test in three parts. We motivate the student to study continuously by decomposing the written test.

Week Date Studied topics Presentations
1 18. 2. 2019 VH Geometry for kinematics/robotics. Kinematics, overview. Linear algebra should be refreshed as a homework. Geometry for robotics, Kinematics
2 25. 2. 2019 KZ Robot and RGB+D sensors. robot_lidar_camera.pdf lecture_notes_robot_camera_lidar.pdf
3 4. 3. 2019 KZ SLAM from RGB+D sensors. mapping_lidar_camera.pdf lecture_notes_slam.pdf
4 11. 3. 2019 VH Graphs and tasks on them. Path planning. Deterministic methods. Graphs and graph algorithms, Deterministic planning
5 18. 3. 2019 KZ Classification, Regression, ConvNets learning_for_vision_i.pdf learning_for_vision_ii.pdf
6 25. 3. 2019 KZ Deep learning: Layers + Learning learning_for_vision_iii_training.pdf learning_for_vision_iv_layers.pdf
7 1 .4. 2019 KZ Deep learning: Architectures. + Test 1 learning_for_vision_v_architectures.pdf
8 8. 4. 2019 KZ Robot control architectures. Representation of robot world. Autonomus robots, architectures, Representation for reasoning
9 15. 4. 2019 KZ Path planning. Probabilistic methods.
10 22. 4. 2019 State holiday. Easter Monday.
11 29. 4. 2019 VH Trajectory generation. Trajectory generation
12 6. 5. 2019 VH Application: Force compliant robot. Touch in robotics. Manipulation tasks. Grippers. Tactile robotics, Force/torque compliant robot
13 13. 5. 2019 SČ Application: Humanoid robot walk
14 20. 5. 2019 VH Theoretical and social aspects of autonomous robotics. Test 2

Presentations of V. Hlaváč's lectures for all subjects he teaches are available either in English or in Czech, and sometimes in both languages. The presentations there are refreshed most often.

Expected previous knowledge or hints for the subject or its labs

It is assumed that students of this course have a working knowledge of mathematical analysis, linear algebra, probability theory and statistics. In addition, basic programming skills are expected, mainly in MATLAB and Python. This master subject should not repeat the knowledge, which was taught in the Cybernetics and Robotics study branch in bachelor studies. The subject would be too shallow otherwise.

It could happen that some students did not study the topics, which are considered a prerequisite of the subject Autonomous robotics. They have to study or refresh their knowledge on their own. Some other knowledge/skills might be useful in the subject labs.

I offer students the aid to refresh their knowledge by providing them presentations related to the topic. Most presentations were prepared by me (Václav Hlaváč), Michal Reinštein (the past instructor of the course), Karel Zimmermann and other colleagues.

Labs and exercises

Instructors: Doc. Ing. Karel Zimmermann, Ph.D. (head), Mgr. Ondřej Holešovský, Ing. Tomáš Petříček, Ph.D., Ing. V.Šalanský, Mgr. Radoslav Škoviera, Ph.D.

The details are given in a separate section labs.

Reminder: Visiting lectures is facultative according to the Study and Exam Order of the CTU. However, it is required at the labs/exercises that student knows the matter explicated at lectures. The student may, refresh the matter from the recommended literature too.

Tests and areas of expected foreknowledge

  • Three tests will be written at the lecture. The test will last for about 30 minutes. The matter explicated at lectures and expected foreknowledge will be tested. A question testing the ability to solve physical/technological task may be part of the test.
  • Test 1 (April 1, 2019)
    • Coordinate frames and Euclidean transformation.
    • Mathematical formulation: mutual sensors calibration (camera-camera, camera-lidar, lidar-lidar).
    • Deep learning in robotics: structure of the convolutional network. Forward and backward propagation. Loss function.
    • Simultaneous localization mapping from camera and lidar (SLAM).
    • Graphs and tasks on graphs. Shortest path. Minimal spanning trees and others. Use in robotics.
  • Test 2 (May 20, 2019)
    • Probability theory, basic concepts. The difference between probability and statistics. Random variable, independence, conditional probability, Bayes formula and its significance. Distribution function, probability density. Random vector and its description.
    • Robot architectures. Deliberative, reactive, subsumption architecture. Basic principles, examples.
    • Robot world representation. Occupancy grid. Metric and topological map. How is it created and updated? A more abstract graph representation.
    • Manipulator trajectory. Its mathematical expression from the approximation point of view. Approximation by polynomials.
    • Planning in robotics. Deterministic and probabilistic path planning methods.
    • A force compliant robot.
    • Tactile sensors. Information processing in robotics. Tactile feedback in robotics. Examples.
    • Robotic grippers.
    • Walking of humanoid robots.
  • Replacement test (May 23, 2019 from 8:30, in the new building CVUT-CIIRC at the Jugoslavkych partyzanu street. Room number B-671, 6th floor). Test is intended for students, who could not write the regular tests for serious reasons. The replacement test will cover topics taught in the whole semester. I will ask the student at the spot why she/he did not write the regular test. The replacement test can substitute only one missing test.
  • Student is not expected to apologize if she/he will not come for the test. She/he will just not get the points with the exception of points obtained from one replacement test. The special cases, like long term serious illness of the student during the semester, the student should contact the lecturer Václav Hlaváč.

Conditions for obtaining the credit from the subject

Work out and succesfully submitting of the assigment at lab/exercises. Writting three tests.

  1. Steven M. LaValle. Planning Algorithms, Cambridge University Press, 2006. (volně na internetu, http://planning.cs.uiuc.edu/)
  2. R. Pfeifer, C. Scheie. Understanding Intelligence, MIT Press, 2002.
  3. B. Siciliano, O. Khatib (editoři). Handbook of Robotics, Springer-Verlag, Berlin 2008.

Assesment of the student at the exam, marks

The English translation is pending.

Student's performance in labs can bring 40 points maximally.

The exam consists of the written and the oral part.

Three tests arew written in three distinct dates on the lecture. Students knowledge from theory is tested. There could be examples (to be calculated) in the test too. The scope of the test will be publishe a week before the test at latest. Each written test can yield max. 10 points. It is required that the student has to gain 10 points at least from written test to be eligible to come to the oral exam. Students who cannot attend the test due to illness (verified by the sick certificate) or for other significant reason explained in advanced to the head of exercises (he will decide if the reason is acceptable), will be asked to write the replacemet written test in the single assigned date in the last week of the semester. The replacement test will cover the material of the whole subjec.

The oral test can yield max. 30 points. Only students with the credit (zápočet) are eligible for being examined orally. The student will bring a printed scientific paper in English tackling the subject domain, which he will study in advance. The purpose of oral exam is also to verify student's deeper knowledge in the domain chosen by the student. It is also verified that the student is able to put his knowledge into the context of student's previous study. The paper should not be older than 5 years. It should be from journals as listed below

  • IEEE Transactions on Intelligent Transportation Systems
  • IEEE/ASME Transactions on Mechatronics
  • IEEE Transactions on Robotics
  • Autonomous Robots Journal
  • International Journal of Robotics Research
  • Robotics and Autonomous Systems

Students have access to electronic resources through the appropriate portal paid by ČVUT. Students have to know bibligraphic record matching to the paper. Conference papers are not eligible. It is prefered if the students brings her/his printed working copy with notes.

Final assesment of the subject

No of points Exam assessment
0-49 F
50- 59 E
60-69 D
70-79 C
80-89 B
90-100 A

Plagiarism

Plagiarism is unacceptable in the subject. If a student is caught copying from a colleague at a written test, she/he will be marked with zero points without the possibility to write this particular test again. The results from lab/exercises are compared with results of others. Plagiarism will be punished. The unit responsible for student affairs will be asked to mention the plagiarism attempt to the study documentation of a particular student.

A wish to students

I wish the subject students the enjoyment from Automous robotics. I also wish their study run smoothly. I look forward to your feedback. Talk to me after the lecture in person or write me an email.

courses/aro/start.txt · Last modified: 2019/04/17 10:31 by zimmerk