You are here

Computer voorspelt populariteit van plaatjes op Twitter

Click here for the English version

Foto's van katten zijn immens populair op websites als Twitter, Facebook en Instagram. Maar waarom een plaatje geliefd is op internet is eigenlijk amper duidelijk. Thomas Mensink van de UvA doet een poging het geheim te ontrafelen met een nieuw computer-algoritme.
Tekst: Marc Laan

Vanwaar die fascinatie met internetfoto's?

“Het is nog steeds heel moeilijk om puur op de visuele inhoud van een plaatje te voorspellen of het populair wordt op de sociale netwerken, of juist niet,” vertelt Thomas Mensink (33), informaticus aan de Universiteit van Amsterdam. “Wij proberen te ontraadselen welke eigenschappen van een beeld maken dat het viraal gaat op internet. Hiervoor hebben we een computermodel gemaakt, dat geautomatiseerd zoekt naar patronen, zowel in plaatjes die populair blijken, als in beelden waar vrijwel niemand naar kijkt. Van plaatjes met katten, auto's en sporters weten we inmiddels wel dat die goed scoren. Maar ik zoek naar andere, verborgen eigenschappen die we nog niet kennen.”

Thomas MensinkWerkt het computermodel al een beetje?

“Wij zijn tot mijn eigen verbazing al een redelijk eind op weg. Ik zie dat ons computermodel factoren blootlegt die maken dat een plaatje populair wordt of niet. Wij verklappen tevoren niet aan het computermodel wat de plaatjes die de software analyseert populair maakt. Het is de bedoeling dat de software zelf de objectieve eigenschappen ontdekt die populaire beelden gemeen hebben. Wij voeren het computermodel met een dataset van een miljoen foto's afkomstig van Twitter, Flickr en Facebook. Van een deel weten wij op dat moment ook niet welke beelden populair zijn. Pas achteraf doen wij het luikje open, om te controleren of de beelden die de computer ons aanreikt, inderdaad populair zijn, of niet.”

Hoe meet je een subjectief begrip als populariteit?

Mensink: “Populariteit is inderdaad een subjectief iets. Maar wij kunnen het aantal 'likes' en 'shares' van een plaatje wel objectief tellen. Ik gebruik hierbij twee objectieve maten. De ene is of een foto actief populair is, oftewel gedeeld wordt met andere mensen en van commentaar wordt voorzien. De andere maat is of een beeld passief populair is. Dan kijken mensen er alleen naar, of ze delen eventueel een 'like' uit. We weten inmiddels dat plaatjes die actief populair zijn, andere inhoudskenmerken hebben dan passief bekeken beelden.”“Maar ik blijf voorzichtig als onderzoeker. Want we weten natuurlijk niet of onze definitie van populariteit klopt. Dus weten wij ook niet of ons computermodel goed genoeg is. Dit is nog allemaal in de fase van fundamenteel onderzoek. De research wordt gefinancierd door COMMIT/, het publiek-private ICT-onderzoeksprogramma, en valt binnen het project SEALINCMedia.”

De computer raadde deze populaire Twitterfoto's goed.

Welke verborgen eigenschappen hebben jullie inmiddels blootgelegd?

“Honden en katten rollen er inderdaad uit. Maar ons computermodel komt ook met foto's van een sterrenhemel en van mooie landschappen. Verder scoren stripfiguren goed, net als beroemdheden, modefoto's en ook ouderwetse zwart-wit-foto's. Manga-animaties worden ook ontzettend veel gedeeld.”

Hoe werkt zo'n computermodel?

“Ons model leert zelf bij, doordat wij voortdurend feedback in de software verwerken. Inmiddels heeft het model tussen de tien en twintig factoren voor populariteit ontdekt. Wij delen de datasets van die miljoenen beelden op in tweeën. Eén set noemen wij de trainingset. Van die beelden weten wij welke populair zijn en welke niet. Die set gebruiken wij om ons model te leren wat scoort en wat niet. De tweede set is de testset, die gebruiken wij om ons computermodel te testen, om te controleren of de software het goed kan raden. Onze vraag is dan: kan het model goed voorspellen dat een plaatje geliked en gedeeld wordt? Hetzelfde doen wij met beelden die niet populair zijn. Kan het model die er ook uitvissen? Het blijkt onder meer dat foto's met eten, zoals brood, pannenkoeken of een smoothy, niet scoren op de sociale media.”

Plaatjes met voedsel zijn onpopulair op Twitter

“Vervolgens leggen wij de voorspellingen van het model naast de echt gemeten populariteit. Zo verfijnen wij ons computermodel. De uitslagen zijn veel beter dan je op grond van toeval mag verwachten. Dat komt natuurlijk ook door de enorm toegenomen rekenkracht van computers.”

“Bijna foutloos voorspellen van wat er op een plaatje staat, komt razendsnel dichterbij. Dat had ik zelf niet verwacht, maar wel gehoopt. Daarom ben ik tenslotte ook met dit onderzoek begonnen. Ik verwacht dat binnen vijf jaar het computermodel de populariteit van beelden op internet ook redelijk goed kan voorspellen. Dat kan leiden tot praktische toepassingen, bijvoorbeeld in de reclamewereld. Of misschien kan de software in je smartphone jou straks al bij het maken van een foto adviseren hoe je het beeld kunt optimaliseren voor populariteit.”

www.marclaan.nl

 

Verder lezen:

https://staff.fnwi.uva.nl/t.e.j.mensink/publications/cappallo15icmr_presentation.pdf

https://staff.fnwi.uva.nl/s.h.cappallo/pdf/cappallo2015latent.pdf