Voor het antwoord legde ik de vraag voor aan Luuk Spreeuwers, onderzoeker op het gebied van biometrie en gezichtsherkenning aan de Universiteit Twente.
Hoe werkt gezichtsherkenning?
Om te begrijpen hoe gezichtsherkenning werkt, maakt Luuk eerst onderscheid tussen twee methodes: verificatie en identificatie. Je telefoon gebruikt verificatie. Daarbij weet het systeem eigenlijk al wie je zou moeten zijn: de eigenaar van de telefoon. Je telefoon hoeft gelukkig niet tussen miljoenen gezichten op zoek naar het jouwe. Hij hoeft alleen te bepalen of het gezicht voor de camera overeenkomt met dat van de eigenaar. Daarvoor vergelijkt het systeem kenmerken uit het gezicht voor de camera met kenmerken die eerder van één specifieke persoon zijn opgeslagen. Luuk noemt dit een 1:1-vergelijking. Het resultaat is een match of een non-match.
Bij identificatie werkt het anders. Het systeem weet dan nog niet wie de persoon voor de camera is en probeert dat juist te achterhalen. Het vergelijkt de kenmerken van één gezicht met die van meerdere opgeslagen personen. Luuk noemt dit een 1:N-vergelijking. Het systeem zoekt vervolgens naar de beste match of concludeert dat er geen match is. Het verschil zit dus vooral in de vraag die het systeem probeert te beantwoorden. Bij verificatie is dat ‘Ben jij deze persoon?’, terwijl identificatie draait om ‘Wie ben jij?’
Een vergelijkbaar principe als bij verificatie zie je bijvoorbeeld bij automatische paspoortcontrole. Het systeem vergelijkt dan kenmerken uit een live camerabeeld met kenmerken van de pasfoto die op de chip in je paspoort zijn opgeslagen.
Maar waar kijkt gezichtsherkenning dan naar?
Je telefoon kijkt niet simpelweg naar de kleur van je ogen of de afstand tussen je neus en mond. Moderne gezichtsherkenningssystemen gebruiken deep learning, een vorm van kunstmatige intelligentie, om onderscheidende kenmerken uit een gezicht te halen. "Die systemen zijn getraind met duizenden tot miljoenen gezichten", vertelt Luuk. Tijdens dat trainingsproces leert het systeem welke kenmerken het beste helpen om gezichten van elkaar te onderscheiden. Daarbij gaat het onder andere om de vorm en textuur van het gezicht en delen daarvan.
Vervolgens vergelijkt het systeem die kenmerken met elkaar en berekent het de afstand tussen de kenmerken. Is die afstand klein genoeg, dan volgt een match. Het verrassende is dat zelfs onderzoekers niet altijd precies kunnen aanwijzen welke kenmerken uiteindelijk doorslaggevend zijn. Die kenmerken komen voort uit het trainingsproces van het systeem. Gezichtsherkenning kan daardoor heel goed werken, terwijl het soms lastig is om uit te leggen waarom een systeem tot een bepaalde beslissing komt. Luuk en zijn collega's onderzoeken daarom hoe ze gezichtsherkenning beter uitlegbaar kunnen maken, onder andere samen met het Nederlands Forensisch Instituut.
Waarom herkent mijn telefoon mij dan met een bril?
En dan terug naar mijn bril. Die hoeft voor moderne gezichtsherkenning helemaal niet zo'n groot probleem te zijn. Luuk legt uit dat deze systemen trainen met miljoenen voorbeelden. Daar zitten ook veel beelden tussen van dezelfde mensen met en zonder bril, met verschillende brillen, met of zonder baard en met allerlei gezichtsuitdrukkingen. Daardoor leert het systeem welke kenmerken belangrijk zijn om iemand te herkennen en welke veranderingen het grotendeels kan negeren. Een bril verandert dus wel wat de camera ziet, maar het systeem heeft geleerd dat zo'n verandering niet meteen betekent dat er een ander persoon voor de camera staat.
Maar foutloos is gezichtsherkenning niet. Ook de kwaliteit van het beeld speelt een rol. Een lage resolutie of een gedeeltelijk bedekt gezicht maakt het bijvoorbeeld moeilijker om iemand goed te herkennen. En soms gaat het op een opvallende manier mis. "Soms worden 'domme' fouten gemaakt", zegt Luuk. Een systeem kan bijvoorbeeld twee gezichten met elkaar matchen die voor een mens duidelijk van elkaar verschillen. Waarom en wanneer zo'n fout ontstaat, is niet altijd makkelijk te voorspellen. Ook daar doet Luuk onderzoek naar.
Hoe veilig is gezichtsherkenning eigenlijk?
Als je telefoon je gezicht gebruikt om te controleren of jij het bent, vraag je je misschien af of iemand zich ook als jou kan voordoen. Zou je bijvoorbeeld simpelweg een foto voor de camera kunnen houden? Dat soort pogingen bestaan inderdaad. Luuk noemt dit spoofing of een presentation attack. De simpelste vorm is een foto van iemand gebruiken. Bij geavanceerdere pogingen gebruiken mensen bijvoorbeeld een video op een beeldscherm of zelfs een 3D-masker.
Gezichtsherkenningssystemen proberen zulke trucs daarom te herkennen. Dat heet liveness detection. Een systeem kan bijvoorbeeld controleren of iemand met zijn ogen knippert of nagaan of er daadwerkelijk diepte in een gezicht zit. Sommige moderne telefoons gebruiken 3D-gezichtsherkenning en kijken daarbij ook naar de driedimensionale vorm van het gezicht.
Maar daar houdt de uitdaging niet op. Luuk onderzoekt ook andere vormen van beeldmanipulatie, zoals morphing en deepfakes. Bij morphing worden twee verschillende gezichten digitaal samengevoegd tot één nieuw gezicht. Een deepfake gebruikt AI om beeld of video zo te veranderen dat het lijkt alsof iemand anders in beeld is of iets doet wat in werkelijkheid niet is gebeurd.
Gezichtsherkenning moet dus niet alleen bepalen wie er op een beeld staat. Het systeem moet ook kunnen herkennen wanneer iemand met dat beeld heeft geknoeid. Luuk onderzoekt daarom hoe systemen dit soort gemanipuleerde beelden beter kunnen herkennen.
Dus, hoe weet je telefoon dat jij het bent?
Uiteindelijk hoeft het beeld dat je telefoon van je gezicht ziet niet iedere keer precies hetzelfde te zijn. Het systeem vergelijkt kenmerken uit je gezicht met kenmerken die eerder zijn opgeslagen. Komen die voldoende overeen, dan volgt een match. Een bril, andere belichting of gezichtsbeharing hoeft daarbij niet meteen een probleem te zijn.
Dat verklaart waarom mijn telefoon mij ook met mijn bril gewoon herkende. Wat voor mij niet meer was dan even naar mijn scherm kijken, is voor gezichtsherkenning dus een razendsnelle vergelijking met uiteindelijk één vraag: ben jij echt jij?
