Effect van ‘AI-taken’ op de AI-geletterdheid van studenten bij een fact-check opdracht

Het doel van dit project was het verhogen van de AI-geletterdheid van studenten in de cursus Onderzoek naar geneesmiddelen (1^e jaar bachelor farmacie). De studenten kozen voor een opdracht zelf een claim om te ‘fact-checken’ en evalueerden deze op basis van drie zelf geselecteerde wetenschappelijke artikelen. Tijdens colleges werkten studenten aan hun fact-checking met ChatGPT, waarbij ze reflecteerden op de door de chat gegenereerde respons. Een pre-post multiple-choice test met de GLAT AI-geletterdheid test[1] (waaruit enkele vragen vanwege tijd waren weggelaten) toonde dat de AI-geletterdheid van studenten toenam (Cohen’s d 0,5 – 0,7). Dit effect was niet significant, mogelijk door het lage aantal deelnemers (n = 6). Scores op de test waarin studenten zelf een inschatting maken van hun AI literacy, zoals gemeten met AILS test[2] namen wel significant toe (Cohen’s d 1,1-2,3), mogelijk doordat studenten dachten dat hun AI-geletterdheid meer toenam dan in werkelijkheid het geval was.

Achtergrond informatie

Ons doel was om studenten te onderwijzen in de drie facetten van AI-geletterdheid. Ten eerste betrof dat het technisch begrip van AI concepten. Ten tweede de praktische toepassing van AI, namelijk, het herkennen van wanneer AI gebruikt werd, en beoordelen wanneer dit ook daadwerkelijk nuttig is. En ten derde wilden we hen leren om AI output kritisch te beoordelen: de (accuraatheid en ethische en maatschappelijke overwegingen zoals bijvoorbeeld bias), Door ervoor te zorgen dat de genAI geletterdheid toeneemt, hopen we dat studenten dit meer verantwoord inzetten.

In het vak BA107 voeren studenten een fact-check opdracht uit (klik hier voor een uitgebreide opdrachtbeschrijving). Deze wordt geconcludeerd met zowel een individuele mondelinge presentatie als een individueel verslag (literatuuranalyse). Vooral voor het verslag bestaat de kans dat werk van AI als eigen werk wordt gebruikt. Het uiteindelijke doel van dit project was door studenten AI-geletterdheid bij te brengen hen in staat te stellen meer verantwoorde keuzes te maken over wanneer AI wel en niet te gebruiken.

De fact check opdracht

Bij start van de cursus konden studenten vrijwillig meedoen aan twee anonieme, online performance-based en self-reported AI-geletterdheid testen. Deze testen maten beide de drie hierboven genoemde facetten van AI-geletterdheid. De performance-based GLAT test deed dit via multiple-choice vragen en de self-reported AILS test[1] deed dit via een Likert schaal 1-5 (helemaal mee oneens – helemaal mee eens). Er werd gekozen voor deze aanpak omdat de testen gevalideerd waren en geschikt bevonden voor studenten in het hoger onderwijs. Verder werd zowel performance-based als self-reported gekozen omdat zowel de werkelijke als de zelf waargenomen AI-geletterdheid interessant was om te weten. Verder werd dit onderzoek gestart omdat studenten nog niet eerder werden onderwezen in AI-geletterdheid, terwijl dit een belangrijke vaardigheid is om verantwoorde keuzes op het gebied van AI-gebruik te kunnen maken.

De fact-check opdracht in de cursus leende zich goed voor opdrachten waarin studenten leren waar genAI (met name ChatGPT) wel en niet goed in is. Daarnaast werd de fact-check opdracht geconcludeerd met een verslag die we als docenten sowieso niet kunnen controleren op AI-fraude. Door het verbeteren van de AI-geletterdheid zetten de studenten mogelijk AI verantwoorder in voor hun verslag.

6 studenten deden zowel aan de pre als post testen mee. In totaal deden 16 studenten aan de pre testen mee en 9 studenten aan de post testen. Op de totaal 240 studenten is dit helaas geen representatieve steekproef.

In de colleges voerden studenten verschillende taken met AI uit:

–GSLS AI e-module over onder andere hoe AI werkt, de maatschappelijke impact van AI (milieu, ethisch, bias), en prompt verfijning (BRAVER) en checken respons (FACTS). Doel van het volgen van deze module was basiskennis en vaardigheden opdoen over AI

-ChatGPT een onderzoeksvraag laten beantwoorden met en zonder prompt verfijning (BRAVER), checken respons met FACTS

-ChatGPT vragen om drie artikelen te kiezen op basis van hun onderzoeksvraag en vergelijken met eigen keuzes. Er werd gekozen voor ChatGPT omdat veel studenten dit gebruiken

-ChatGPT studiekarakteristiekentabel laten maken en checken op correctheid met FACTS. Een studiekarakateristiekentabel is een standaard onderdeel van een systematische review. De tabel laat de studiekarakteristieken zien, zoals auteur, land, deelnemers aantal, type studie etc. van de studies geïncludeerd in de review.

Aan het eind van de cursus konden studenten weer meedoen aan de AI-geletterdheid testen. Doordat de studenten een unieke code aanmaakten in de test, kon het verschil tussen ‘pre’ en ‘post’ AI-geletterdheid worden bepaald.

Het resultaat

De AI-geletterdheid, zoals gemeten met een performance-based test van studenten was toegenomen (Co’en’s d 0,5 – 0,7). Echter dit effect was niet significant (p > 0,05), mogelijk door het erg lage aantal deelnemers aan de test. Opmerkelijk was dat de zelf-gerapporteerde AI-geletterdheid wel significant was toegenomen (Co’en’s d 1,1-2,3, p < 0,05), wat erop kan duiden dat studenten denken dat hun AI-geletterdheid meer toenam dan in werkelijkheid het geval was.

In een volgende periode zullen de opdrachten verder verfijnd worden op basis van de ervaringen van het docententeam en de reacties van studenten in de Caracal.

De opdrachten zoals die zijn gebruikt in deze cursus, zijn algemeen toepasbaar voor schrijfopdrachten of onderzoeksopdrachten in andere cursussen, zie bijlage (NB. Deze worden nog geüpdatet voorjaar 2026).

De volgende stap

Er is een Scholarship of Teaching and Learning (SoTL ) aanvraag ingediend voor vervolgonderzoek. Bij de beschreven pilot was de steekproef (sample size) te klein om significante effecten aan te tonen. Daarom zal het vervolgonderzoek grotendeels gelijk zijn aan de pilot, maar dan met surveys gepland tijdens de colleges, voor vergroting van de sample size. Het is belangrijk om studenten AI-geletterdheid vaardigheden bij te brengen. Daarom is het belangrijk dat verder onderzoek, zoals dit onderzoek, wordt uitgevoerd om te bepalen welke opdrachten daadwerkelijk de AI-geletterdheid verhogen van de studenten.

Uit een anonieme Wooclap quiz bleek dat studenten zelf willen leren academisch te schrijven. Dat ze niet willen dat AI dit van hen overneemt. Daarom zal bij het vervolg onderzoek een prompt library beschikbaar worden gesteld waarmee studenten in ChatGPT om reflectie op hun schrijven kunnen vragen in plaats van dat ChatGPT voor hen gaat schrijven.

Lessons learned

AI-geletterdheid meet je waarschijnlijk het meest nauwkeurig met een performance-based test. Het lijkt erop dat studenten hun AI geletterdheid overschatten.
Studenten hands-on dingen laten genereren met AI aan de hand van opdrachten, en het checken van de respons verhoogt mogelijk hun AI-geletterdheid. Op die manier leren studenten waar ChatGPT wel en niet goed in is.
Studenten noemden als waardevol bij de opdrachten (in anonieme enquête): “Leren hoe te prompten”, “Reflectieve opdrachten die lieten zien waar Chat wel en niet effectief voor is”, “Het zien en herkennen van hallucinaties”, “Simpelweg beginnen met het gebruiken van AI-tools”. Als docent merkte ik deze punten ook op bij de plenaire nabespreking van de opdrachten.
Niet alle studenten willen werken met AI. Het is belangrijk om voor hen een alternatieve werkwijze te hebben.

Tips

Zorg voor voldoende aantal deelnemers door de survey bijv. in de lessen af te nemen
Een performance-based test, zoals de gebruikte GLAT test, meet de AI-geletterdheid waarschijnlijk nauwkeuriger dan een self-reported test. Wel kan een self-reported test interessant zijn om de werkelijke en zelf-beoordeelde AI-geletterdheid te meten
Voor volgend jaar zijn de AI-opdrachten aangepast, met hier de belangrijkste drie verbeteringen:
- Het maken van de studiekarakteristiekentabel door ChatGPT met artikelen gekozen door ChatGPT. Dit voorkomt dat niet-Open-Access artikelen worden geupload in ChatGPT
- Het oefenen met een prompt die ChatGPT instelt als coach. Bijvoorbeeld een reflectieve schrijfcoach die je op weg helpt, en niet je leerprocessen overneemt (en dus ook geen voorbeelden geeft). Dit om het diep-leren van studenten te stimuleren en om studenten in te laten zien dat je ChatGPT kan inzetten voor goed (diep-) leren. De studenten gebruikten de prompt om feedback te vragen op een deel van hun verslag.
- De reflecties bij de opdrachten expliciet erin zetten als reflectie en ook mee geven aan de docenten om de uitkomsten van de individuele reflecties in de lessen plenair te bespreken. Het reflecteren op de AI-opdrachten is gedaan om de metacognitie van de studenten wat betreft hun leerproces en AI-gebruik te vergroten.

Central AI policy
All AI-related activities on this page must be implemented in line with Utrecht University’s central AI policy and ethical code.
Responsibility for appropriate tool choice, data protection, transparency, and assessment use remains with the instructor.

Bronnen

[1] Jin Y, Martinez-Maldonado R, Gašević D, Yan L. GLAT: The Generative AI-literacy Assessment Test. arXiv [Preprint]. 2024 Nov 19. Report No.: arXiv:2411.00283. Available from: https://arxiv.org/abs/2411.00283

[2] Wang B, Rau PLP, Yuan T. Measuring user competence in using artificial intelligence: validity and reliability of artificial intelligence literacy scale. Behav Inf Technol. 2023;42(9):1324–1337

Back