SwipeQuest

De app SwipeQuest helpt door middel van gamification het labelen van (veelal grote) datasets eenvoudig en prettig te maken en om de kwaliteit van de data te verbeteren. Het SwipeQuest idee is geboren in de APG Groeifabriek en vervolgens door Betawerk en APG samen ontwikkeld.

Machine learning is een breed onderzoeksveld binnen Artificial Intelligence, dat zich bezighoudt met de ontwikkeling van algoritmes en technieken waarmee computers kunnen leren.  Een van de meest gebruikte methode van machine learning is supervised learning. Supervised learning is een vorm van machine learning waarbij het model wordt getraind met gelabelde data (dat is data waar de uitkomst van bekend is) om verbanden te zien. Vervolgens wordt het getrainde model gebruikt om nieuwe data zonder labels te analyseren en daarvan de uitkomst te voorspellen. 

Data is de brandstof van AI

Modellen en algoritmes zijn niet de grootste uitdagingen bij machine learning, de uitdaging ligt bij de data. De bruikbaarheid, en dus de waarde van deze data, hangt vaak af van het feit of individuele items een label krijgen om een bepaalde duiding te geven. Bijvoorbeeld: over welk onderwerp gaat deze tekst of welke objecten zijn zichtbaar op deze afbeelding? Correcte labels zijn cruciaal om het gebrek aan structuur in de gegevens te verhelpen.

DATAlabeling In een game

SwipeQuest heeft verschillende soorten (eenvoudige) games en zorgt ervoor dat de kennis van medewerkers  ‘uit de hoofden in de data’ terecht gaat komen. Een gebruiker kan door het spelen van de games in korte tijd data labelen zonder concentratie of interesse te verliezen. We stimuleren spelers om op bepaalde momenten te spelen, bijv. door het krijgen van meer punten voor- en na werktijd. Teams of groepen kunnen tegen elkaar verschillende quests spelen met als doel het ander team te verslaan. De uitdagende spelletjes en beloning van het spel dragen bij aan de kwaliteit van de labeling. Het spelen van de games gebeurt op basis van intrinsieke motivatie, eventueel aangevuld met een (kleine) beloning. Spelers worden dus op meerdere manieren gestimuleerd om te spelen en collega’s te betrekken. 

De Swipequest pilot

Om SwipeQuest te testen werd er een pilot van 3 weken gedraaid binnen APG, de APG Groeifabriek en Betawerk. Tijdens deze pilot hebben spelers statements beoordeeld. De hoofdvraag was: heeft dit statement een positief, negatief of neutraal effect op de waarde van aandelen. Het uiteindelijke doel van de spelers was het meest aantal coins verdienen als een team. Door het scoreboard en weekly rewards werden teams extra gemotiveerd om meer statements te beoordelen. Hoe meer beoordelingen, hoe meer coins, maar ook hoe beter de data. 

DE uitkomst

In totaal werden er 17.363 statements geannoteerd, met een 74% nauwkeurigheid waarbij elke statement 2,7 keer geannoteerd is.  Het is duidelijk dat spelers die spelen graag blijven spelen en annoteren zonder enig productieverlies. Na het draaien van de pilot is de conclusie dat Swipequest gegevens levert van hoge kwaliteit, data annoteren leuk maakt en een efficiënte manier is om data annotaties te organiseren.