De meesten van ons gebruiken apps als Snapchat en TikTok zonder erbij na te denken. Maar wat als je de technologie erachter zelf kan bouwen? In de cursus Image Processing and Computer Vision (IPCV) van de masteropleiding Robotica doen studenten precies dat.
Dr. Kenan Niu van de onderzoeksgroep Robotics and Mechatronics leert studenten uit verschillende technische disciplines de kerntechnologie achter de populairste apps van dit moment. De studenten gaan van theorie naar praktijk. Ze creëren hun eigen realtime interactieve visuele effecten.
Werk van student Timon Veurink
Hoe kan een computer begrijpen wat hij via een camera ziet?
In de cursus IPCV leerden studenten de verschillende methoden en algoritmen voor beeldverwerking en computervisie, waarmee ze de computer konden leren om 'objecten te zien'. Hun eerste uitdaging: de computer een gezicht of een hand laten herkennen in een stroom beelden die elke fractie van een seconde verandert.
Met behulp van zogenaamde programmeerbibliotheken voor computervisie zoals OpenCV (open source) en MediaPipe (een AI-model voor gezichts- en handtracking) schreven de studenten python-code die een gezicht in een videoframe herkent.
Zodra de software een gezicht detecteert, zoekt het naar belangrijke referentiepunten die bijna elk menselijk gezicht heeft en die ongeveer op dezelfde plaats blijven, zelfs als je beweegt. Denk bijvoorbeeld aan de hoeken van je ogen of het puntje van je neus.
Digitale punten op je gezicht
Deze punten heel precies gekozen. Ze zijn eenvoudig te herkennen voor een computer en ze bewegen op voorspelbare manieren wanneer je lacht, knippert of je hoofd draait. Door deze punten frame voor frame te volgen, kan de computer berekenen hoe je gezicht of hand beweegt in een 2D- of zelfs 3D.
Stel je je gezicht voor als een eenvoudig model gemaakt van punten verbonden met draden. Elke punt markeert een plek die zelden verandert: ooghoeken, neuspunt, mondhoeken. Wanneer je lacht of knipoogt, verschuiven die punten iets. Door hun beweging te volgen, weet de computer wat je doet en waar hij een digitaal masker moet plaatsen zodat het perfect past.
Werk van student Oscar Peters
Waar techniek en creativiteit samenkomen
Vanaf daar begint de creatieve techniek. Studenten gebruiken beeldverwerking en computervisie-algoritmen om deze kenmerken in realtime aan te passen. Je ogen worden groter, je huid wordt zo glad als die van een baby, of je kunt een frons omdraaien door geometrische transformaties in beeldverwerking te gebruiken.
Gebaren zoals een opgeheven handpalm of een vredesteken kun je programmere om animaties te activeren (vlammen aan de vingertoppen) of om te schakelen tussen effecten (virtuele brillen en hoeden). Het is interactieve digitale kunst, regel voor regel geschreven in Python.
Meer dan een filter
Wat eruitziet als spelen, is in feite serieuze computertechniek. "Onze studenten combineren wiskunde, algoritmen en programmeren met creativiteit en zetten technologieën om in charmante digitale innovatie", zegt Dr. Niu.
De studenten leren niet alleen hoe bestaande apps werken, maar ook hoe ze nieuwe kunnen uitvinden. En de volgende keer dat een filter perfect op je gezicht past? Dan weet je: ergens heeft een ingenieur een computer geleerd hoe hij moet kijken.
Werk van student Oscar Peters
