Vanaf september starten onderzoekers van het lectoraat Betekenisvol Digitaal Innoveren met het testen van de Honest Mirror. Het is een app die jou filmt en via Artificial Intelligence (AI) feedback geeft op lichaamshouding. Dit lectoraat deed ook onderzoek naar een VR-bril om presentaties te oefenen. Stan van Ginkel vertelt over de projecten.
‘Iets rustiger praten’, ‘niet te veel wiebelen’, of ‘probeer wat meer het publiek aan te kijken’. Feedback en tips over je presentatie krijg je nu nog van docenten of klasgenoten, maar in de toekomst misschien wel van AI. Stan van Ginkel ziet genoeg mogelijkheden. Hij werkt zes jaar op de HU. De helft van de tijd is hij hogeschoolhoofddocent bij Instituut Archimedes, de andere helft werkt hij binnen het lectoraat Betekenisvol Digitaal Innoveren. Daar leidt hij onderzoek naar onder andere een slimme VR-bril die is ontwikkeld door het bedrijf CoVince, en een app die helpt om beter te kunnen presenteren.
Van Ginkel: ‘Oefenen met presenteren en daarna feedback krijgen is belangrijk, maar tijdrovend. Het kost uren om alle 25 studenten in een klas een oefenpresentatie te laten doen en feedback te geven.’
VR-bril
Van Ginkel onderzoekt met zijn lectoraat wat de mogelijkheden zijn voor de VR-bril. Een student kan de bril opzetten en ziet een lokaal vol klasgenoten, een volle theaterzaal of een tv-studio. Het virtuele publiek reageert echt op zijn presentatie door wel of niet geïnteresseerd te kijken.
Na afloop van de presentatie ontvangt de student feedback op bijvoorbeeld stemgebruik, stopwoordjes en het aantal woorden per minuut (115 is de ideale snelheid). Ook let de bril erop of de student genoeg naar het publiek kijkt.
Lectoraat Betekenisvol Digitaal Innoveren
De onderzoeksgroep van Van Ginkel heet Digitaal Innoveren in Onderwijs (DIO) en valt onder het lectoraat Betekenisvol Digitaal Innoveren. In DIO zitten twintig mensen: studenten, docenten en onderzoekers. Allemaal vanuit verschillende domeinen zoals de zorg, het onderwijs en ICT.
Van Ginkel: ‘We ontwerpen methodes waarmee we vaardigheden van studenten kunnen bevorderen.’ Dat begint bij het bepalen welke vaardigheden belangrijk zijn voor studenten. ‘Niet alle studenten beschikken over goede communicatieve vaardigheden als ze zijn afgestudeerd, dus wij zijn bezig om onderwijs te ontwerpen om die skills te bevorderen.’
Nuttig?
In 2016 onderzocht hij voor zijn PhD bij de Wageningen University & Research (WUR) wat het verschil is tussen feedback krijgen van een computer en van een docent. ‘Tijdens een experiment werden studenten eerst beoordeeld op hun presentatievaardigheden, een soort nulmeting. Daarna kregen ze feedback, van een docent of van de VR-bril. Na een tweede presentatie werd hun vooruitgang gemeten.
Wat blijkt? Het maakt niet uit of studenten feedback van een docent of van een VR-bril krijgen, in beide gevallen gaan ze evenveel vooruit.’
Verschillen zijn er wel: Feedback van docenten is positief opbouwend, van de bril is het gedetailleerd. Bijvoorbeeld dat ze halverwege sneller gingen praten en aan het eind van elke vragende zin te weinig intonatie in hun stem hadden.’
Met VR kunnen studenten ook tijdens het presenteren al een terugkoppeling krijgen. Als iemand te snel spreekt, ziet hij een icoontje verschijnen. Van Ginkel: ‘Maar dat blijkt niet effectiever dan achteraf feedback krijgen.’
Beoordelingslijst
Om de effectiviteit van feedback te kunnen onderzoeken, moest Van Ginkel een manier vinden om vast te stellen hoe ‘goed’ een presentatie is. ‘In de hele wetenschappelijke literatuur bleek daar geen gevalideerde rubric (een soort matrix waar niveaus per criterium zijn uitgeschreven, red.) voor te zijn.’’ Hij maakte er zelf een, gebaseerd op literatuurstudie. De checklist (die onder andere let op stemgebruik, oogcontact en houding) publiceerde hij in wetenschappelijke tijdschriften. Nu wordt deze lijst over de hele wereld gedownload en gebruikt.
In 2019 promoveerde Van Ginkel aan de WUR op het bevorderen van presentatievaardigheden. ‘Inmiddels hebben we binnen het HU-lectoraat veel kennis opgebouwd over digitale innovaties in het onderwijs. Grafiekjes over stemvolume en frequentie die de VR-bril na afloop maakt, hebben we vertaald in een geschreven boodschap.’ Bijvoorbeeld: We zien dat je in het begin van de presentatie goed in intonatie varieerde, maar later wat minder.
Nog geen grootschalig gebruik
Inmiddels heeft de HU een aantal brillen in het HUB-lab en bij het Digital Education Lab. Van Ginkel: ‘Een stuk of zes. Met een hele klas tegelijk oefenen is dus lastig. Studenten kunnen de bril zelfstandig gebruiken, maar bij het opstarten is technische begeleiding nodig.’
Zo’n bril kost rond de 400 euro. ‘Als de HU er 3000 zou aanschaffen, is dat zonde. Over drie maanden zijn er weer nieuwe updates.’ Daarnaast is er, om ook feedback te krijgen op lichaamstaal, een ander programma nodig. De losse VR-bril kijkt namelijk niet naar lichaamstaal.
Honest Mirror
Van Ginkel is ook bezig met een ander project waarbij kunstmatige intelligentie helpt om presentatievaardigheden te verbeteren: de Honest Mirror. Een student presenteert voor de webcam en neemt zichzelf op. Achteraf krijgt hij feedback op zijn lichaamstaal. In september begint de eerste proef. Het is de bedoeling dat Honest Mirror straks gratis voor iedereen, niet alleen HU-studenten, te gebruiken is. Ook thuis, voor je eigen laptop.
Hoe werkt het?
Het AI-systeem herkent 17 punten op je lichaam en scant tijdens de presentatie de bewegingen die effectief en ineffectief zijn. Hij geeft een rapport met een terugkoppeling over de geregistreerde bewegingen. Bijvoorbeeld: ‘gebruik meer ondersteunende gebaren’.
Tien mensen binnen de onderzoeksgroep zijn sinds januari 2023 bezig met Honest Mirror. Van Ginkel: ‘Niet alleen ICT-ers maar ook mensen die zich bezighouden met ethische kanten zoals privacy.’
Er is nu een prototype gebouwd dat vanaf september wordt getest op onderwijsafdelingen van de HU. De komende drie jaar wordt Honest Mirror verder ontwikkeld. ‘Er zijn dingen waar we aan moeten werken. Hoe gaat het programma bijvoorbeeld om met iemand in een rolstoel?’
Het zou Van Ginkel niets verbazen als de Honest Mirror een bekend en populair programma gaat worden. ‘Zeker in combinatie met de VR-bril. Daardoor krijgt een student zowel feedback op zijn stemgebruik en oogcontact als lichaamshouding.’
