You are here

Leeftijdschatting buiten het lab - knap lastig

(Click here for the English version)

Een webcam aan de deur van een discotheek die automatisch kan zien of een jongere oud genoeg is om naar binnen te gaan en een biertje te kopen. Een webcam die ziet waar een vrouw in een etalage naar kijkt. Als het aan Fares Alnajar ligt duurt het niet lang voordat dat mogelijk is. Tekst: Reineke Maschhaupt

Waar eerder onderzoek binnen de human-computer interaction zich meer richtte op de actieve mens – waar klikt iemand op? – wordt nu steeds meer aandacht besteed aan de passieve signalen van een persoon. Waar kijkt iemand naar? Wat is zijn emotie? Hoe oud is hij?

Alnajar, geboren in Syrië, is blij dat hij in Amsterdam terecht is gekomen voor zijn promotie. Hij houdt van de efficiëntie, de directheid en de open-mindedness in Nederland.  ‘Een smart culture’, noemt hij het. ‘Mensen worden hier opgevoed zodat ze onafhankelijk zijn. Ze denken voor zichzelf en dat maakt ze slimmer.’

Alnajar heeft de afgelopen vier jaar onderzoek gedaan naar het automatisch schatten van leeftijd en kijkrichting aan de hand van gezichten. Het verschil met eerder onderzoek was dat het gericht was op de praktische condities die je buiten het lab vindt. Alnajar: ‘In een lab creëer je de perfecte voorwaarden voor onderzoek. Als je een computer iemands leeftijd wil laten bepalen dan zorg je ervoor dat zijn gezicht precies naar voren staat, dat hij neutraal kijkt en dat er geen schaduw op het gezicht staat. Vervolgens analyseert de computer het gezicht door eerst te bepalen waar de ogen, de neus en de mond zitten. Om de leeftijd van iemand te schatten wordt voornamelijk gekeken naar ouderdomsrimpels en huidtextuur.’

Ruis

In het lab is dit onderzoek al ver gevorderd. Maar voor bedrijven wordt deze technologie pas echt interessant als hij ook werkt in het echte leven. En daar zul je deze perfecte omstandigheden nooit aantreffen. Alnajar: ‘Op straat of in een winkelcentrum staan mensen in andere lichaamshoudingen. Ze hebben een bepaalde gezichtsuitdrukking. Er is ander licht en ze dragen ze accessoires zoals een bril. En bij het analyseren van foto’s komt daar nog bij dat ze niet altijd van even goede kwaliteit zijn.’ Al deze belemmeringen is Alnajar op verschillende manier te lijf gegaan.

Voorbeeldfoto's uit de gebruikte dataset

Om met de slechte kwaliteit van de foto’s te beginnen. Het analyseren van de huidtextuur is in het lab de meest exacte manier om de leeftijd van iemand te schatten. Als iemand ouder wordt verliest hij collageen onder de huid wat leidt tot een dunnere, donkerdere en meer leerachtige huid. Door de leerachtigheid en ruwheid van de huid te analyseren kan een computer de leeftijd van iemand schatten. Maar als de belichting en de pixels op een foto slecht zijn, zoals bij veel foto’s op het internet, is deze methode helemaal niet meer zo exact.

Om dit te op te lossen ontwierp Alnajar een programma dat de kwaliteit van een foto automatisch voorspelt. Als een mens een foto bekijkt ziet hij gelijk hoe scherp de foto is, of hij goed belicht is en  hoe hij de foto moet beoordelen. Een computer maakt deze stap normaal gesproken niet. Het programma dat Alnajar ontwierp maakt deze tussenstap voor de computer. Het beoordeelt de kwaliteit van een foto en zegt welke details van het gezicht het beste gebruikt kunnen worden in combinatie met de kwaliteit van de foto. En of de computer beter een analyse van de huidtextuur of de ouderdomsrimpels kan maken.

Valse rimpels

Bij rimpelanalyse ontstaat weer een ander probleem. Voor een computer is het lastig ouderdomsrimpels van rimpels te onderscheiden die ontstaan bij gezichtsuitdrukkingen. En in het echte leven kijken mensen zelden neutraal. Als iemand lacht dan vervormen de ouderdomsrimpels en komen er een aantal rimpels bij die horen bij het lachen. Alnajar leerde aan een grafisch model de rimpels die veroorzaakt worden door het lachen in combinatie met de leeftijd van iemand. Het programma legt hierdoor de verschillen vast die horen bij de leeftijd en bij de gelaatsuitdrukking. Hierdoor kan het programma de twee uiteindelijk beter uit elkaar halen.

Een andere methode voor het rimpelprobleem was het gebruiken van de dynamische delen van het gezicht bij een gelaatsuitdrukking. Hij liet een automatisch leeralgoritme los op de oogleden, de mondhoeken en wangen van lachende mensen op videobeelden. Zo lukte het hem uiteindelijk om de leeftijd nog iets beter te benaderen.

De dynamische delen van het gezicht (links) en de onderliggende spier structuur (rechts)

Patent

Het meest trots is Alnajar op het onderzoek naar kijkrichting, dat hij deed in samenwerking met Sightcorp, een bedrijf dat gespecialiseerd is in automatische gezichtsanalyse. Het leidde tot een aantal internationale publicaties en een patent. In het verleden gebruikten onderzoekers kalibratie om de kijkrichting van iemand te schatten. Kalibreren wil zeggen dat de precieze locatie van de pupillen, het kijkobject en de camera werden vastgesteld. Op basis van die informatie kon worden bepaald waar iemand naar keek. Buiten het lab is dit uiteraard niet mogelijk. Alnajar en zijn mede onderzoekers stelden daarom als eersten een nieuwe aanpak voor. Als mensen ergens naar kijken hebben ze vergelijkbare kijkpatronen. Alnajar gebruikte deze kijkpatronen als kalibratie om kijkpunten van mensen te schatten. Ze gebruikten een webcam en de kijkers hoefden maar drie seconden naar een prikkeling te kijken om te kunnen schatten waar ze naar keken. Perfect voor de praktijk dus.

Voorspellen van interesse

Op basis van de informatie van waar mensen naar kijken, in combinatie met leeftijd, geslacht en gezichtsuitdrukking probeert Sightcorps analyses te maken. ‘We zijn inmiddels zelf zo ver dat er directe interacties gaan plaatsvinden’, zegt Alnajar. ‘Als iemand bijvoorbeeld in een winkeletalage aan het kijken is kan een computer een suggestie gaan geven van wat bij diegene past. Een vrouw van een hogere leeftijd wordt dan geen Playstation aangeraden. Natuurlijk, misschien houd je er als vrouw wel van, maar op grond van de statistiek is dat onwaarschijnlijker dan een ander product.’ Hoe meer factoren hier aan toegevoegd worden - kijkrichting, emotie - hoe beter voorspeld kan worden waar iemand interesse in heeft.

Maar zijn onderzoek is niet alleen interessant voor marketing. Het kan gebruikt worden in elke applicatie die met human-computer interaction te maken heeft. Bewaking bijvoorbeeld. Een webcam voor een uitgaansgelegenheid kan mensen automatisch gaan screenen op leeftijd of op agressie. Of veiligheid. Je kan het gedrag van een autobestuurder analyseren door een camera voor hem te plaatsen die in de gaten houdt dat hij oplet of dat hij moe aan het worden is. Ook binnen de gaming wereld worden kijkrichting en lichaamshoudingen steeds meer gebruikt om een meer natuurlijke en leuke interactie te laten ontstaan.

Deze concrete toepassingen trekken Alnajar. Hij vindt onderzoek doen heel mooi maar uiteindelijk wil hij bij een bedrijf gaan werken waar de uitkomsten en producten iets concreter zijn dan binnen universitair onderzoek.

Sociale mentor

Alnajar is in een vluchtelingenkamp in Syrië geboren, in de stad Daraa, nadat zijn familie was gevlucht uit Palestina. Daar ging hij naar school en later naar de universiteit. Via een beurs van de UvA kon hij zijn Master in Amsterdam doen, waaruit de PhD volgde. Het was de afgelopen jaren af en toe lastig om op zo’n grote afstand van zijn familie te zitten met de huidige situatie in Syrië.

Zijn promotor Theo Gevers was heel belangrijk voor hem: ‘Toen ik twee maanden dakloos was mocht ik in zijn huis verblijven. Ik ken zijn familie goed. Hij leerde me een positieve houding te houden, probleemoplossend te denken en mijn prioriteiten te kiezen in het werk en het leven. Ik zal hem me nog meer herinneren als sociale mentor dan als promotor.’

Op 21 januari 2016 promoveerde Fares Alnajar aan de Universiteit van Amsterdam met zijn proefschrift Automatic Age and Gaze Estimation under Uncontrolled Conditions. Momenteel werkt hij als post-doc in het Intelligent Systems Lab Amsterdam aan de UvA. Zijn PhD onderzoek werd gefinancierd door Commit, binnen het project VIEWW.