Aanrakingen gebeuren vaak even snel - een aanmoedigend klopje op de schouder, een plagerig duwtje, een hand geven bij de kennismaking – maar zijn enorm belangrijk in de menselijke interactie. Kun je sociale robots leren omgaan met aanraking? Promotiestudent Merel Jung: ‘Als je er sensoren in doet ben je er nog niet. De robot moet ook nog iets met de input doen.’ door Reineke Maschhaupt

Merel Jung studeerde psychologie in de richting van cognitie en ergonomie. Jung: ‘De combinatie mens en techniek vind ik heel interessant. De stap naar Human Media Interaction aan de Universiteit Twente was dus een logische. Hoe maak je techniek zo plezierig mogelijk voor mensen?’

Pepper

Er worden steeds meer humanoïde robots - robots die fysiek op mensen lijken – ontwikkeld. Toepassingen liggen veelal in de gezondheidszorg en het onderwijs. Als maatje voor een eenzame oudere bijvoorbeeld of als bijlesleraar voor een kind. In de meeste robotsystemen is spraak en kijkrichting toegevoegd om de robot menselijker te maken. De bekende robot Pepper kan zelfs de basisemoties van mensen herkennen en daarop reageren. Waar de robots echter nog weinig mee kunnen is menselijke aanraking. Jung: ‘Ik heb mensen horen zeggen dat ze het jammer vinden dat Pepper niets doet als je hem bij de schouder aanraakt.’

‘Er bestaat onderzoek naar robotarmen in een fabriek die het aanvoelen als er een mens naast ze staat zodat ze er niet tegenaan botsen. Maar dat is nog heel praktisch. In mijn onderzoek gaat het erom dat robots aanraking kunnen begrijpen en er vervolgens gepast op kunnen reageren. Dat een robot je even kan aantikken en vragen of hij erdoor mag. Of een arm om je heen kan slaan als je er doorheen zit. En belangrijk, een robot die ook zelf aangeraakt wil worden.’

Naar dit sociale aspect van aanraking is nog weinig onderzoek gedaan. Jung: ‘Op de meeste conferenties ben ik de enige of één van de weinigen die aan sociale aanraking werkt. We zijn echt nog in de fase waarin ik roep, ‘dit is er ook mensen!’

Paspoparm

In haar onderzoek begon ze dan ook bij het begin. Hoe raken mensen elkaar aan? Jung: ‘Menselijke aanraking is heel complex. In een drukke bus is het normaal om heel dicht tegen iemand aan te staan, maar als de bus leeg is, dan is dat heel raar. Het ligt heel erg aan de plek waar je bent, hoe goed je iemand kent, of iets sociaal wenselijk en gepast is.’

Jung onderscheidt vier stappen in de menselijke aanraking: waarnemen, classificeren, interpreteren en reageren. Voor de eerste twee stappen in deze ‘interactie cyclus’ deed ze onderzoek naar de verschillende soorten aanraking die de mens gebruikt. Ze maakte een opstelling van een paspoparm met daaromheen een stoffen sensorgrid waarop de druk werd gemeten. De proefpersonen kregen verschillende opdrachten hoe ze de arm moesten aanraken, bijvoorbeeld kietelen, slaan of aaien, en dat in drie verschillende intensiteiten, van zacht naar hard. De computer registreerde de hoeveelheid druk en de grootte van het contactoppervlak over de hoeveelheid tijd.

Met die druksensordata trainde Jung een algoritme om al die aanrakingen te herkennen. Jung: ‘Slaan en aaien is gemakkelijk uit elkaar te halen door een computer, wat we al verwacht hadden. Maar er zaten wat verwarringen tussen wrijven en aaien en tussen krabben en kietelen. En er zit best wel wat variatie tussen mensen. Het is dus lastig voor een robot om voor iedereen de juiste aanrakingen te herkennen.’ Uiteindelijk kon de computer 60 procent van de aanrakingen op de juiste manier indelen.

Machine learning challenge

Jung verzamelde alle gevonden druksensordata in het Corpus of Social Touch (CoST) die ze openbaar maakte. Zo hoeft niet elke onderzoeker dezelfde data te verzamelen als hij of zij in dit gebied onderzoek gaat doen. Om haar vakgebied wat meer bekendheid te geven lanceerde ze een machine learning challenge. Machine learning is het ontwikkelen van een algoritme dat bepaalde patronen in data kan ontdekken. Door nieuwe data te blijven toevoegen blijft het algoritme ‘leren’. Jung daagde andere onderzoekers in het veld van multimodale interactie – het vakgebied dat de verschillende manieren waarop mensen communiceren onderzoekt - uit om de verschillende aanrakingen in haar dataverzameling te herkennen. Interessant was dat de onderzoekers die meededen dezelfde verwarringen in aanrakingen vonden die Jung had gemeten. Een andere belangrijke uitkomst was dat technieken die de onderzoekers normaal gebruikten voor beeld- of spraakherkenning, ook heel goed toegepast konden worden op het herkennen van aanraking.

Eye-opener

Om meer inzicht te krijgen in de verschillende manieren van menselijke aanraking deed Jung een labonderzoek met een knuffelhond. De proefpersonen gingen een als huiskamer ingericht lab binnen. Ze kregen de instructie mee dat ze thuis kwamen in een bepaalde emotionele staat – gestrest, somber, relaxed of enthousiast – en dat ze een robothondje hadden waarmee ze konden interacteren als ze dat wilden. Jung filmde alles en keek hoe de mensen omgingen met het knuffelhondje.

Het bleek heel moeilijk om de aanrakingen te onderscheiden. Jung: ‘Ik zag de categorieën wel terug in de videobeelden, maar het was niet zo netjes van begin tot eind. Ik wilde onderzoeken welke aanrakingen mensen gebruikten in de verschillende emoties. Maar ik kon heel moeilijk zeggen, ‘nu wordt er van hier tot hier geaaid’ en ‘hier is iemand aan het wrijven’, omdat alles door elkaar liep. Deelnemers spraken vaak tegen de hond terwijl ze hem aanraakten en oogcontact maakten.’

‘Dit was echt een eye-opener. Deze categorisering bleek geen goede benadering om tot de kern van aanrakingsgedrag te komen. Dat was wel even lastig. Had ik net een aantal jaar besteed aan de herkenning van al die gebaren en toen kwam ik erachter dat het niet handig was om het zo te doen. Ik moest even omschakelen, want ik moest nu een heel ander artikel gaan schrijven. Maar ook dit was natuurlijk wel een belangrijke bevinding. Als ik het opnieuw zou doen dan zou ik het multimodaal aanpakken, de context meenemen, spraak en kijkrichting erbij betrekken. Een aanraking gebeurt niet in isolatie.’

Smartwalker

Jung gaat nu als postdoc onderzoeker aan de slag op een project bij Industrieel Ontwerpen aan de Universiteit Twente. Daar helpt ze bij het ontwikkelen van een smartwalker, een rollator die ouderen helpt bij het zelfstandig uitvoeren van hun dagelijkse activiteiten. Ook daar gaat het weer om de vraag: Hoe maak je de interactie tussen mens en techniek zo plezierig mogelijk, zodat men de techniek accepteert en er mee om wil gaan? ‘Zolang het kan blijf ik onderzoek doen. Ik zit hier heel goed op m’n plek.’

Op 28 juni 2017 promoveerde Merel Jung aan de Universiteit Twente met het proefschrift Socially Intelligent Robots that Understand and Respond to Human Touch. Haar onderzoek werd gefinancierd door Commit, binnen het project VIEWW.