De schrijfopdracht had als eindresultaat een essay over de vraag in hoeverre een aardappelschilmesje en steekwapen is. Wat wij hebben gedaan is de schrijfopdracht in twee fases uit elkaar te trekken, zodat we beter konden toetsen of studenten de inhoudelijke leerdoelen van de cursus beheersten.

Fase 1: tijdens de werkgroep in een gecontroleerde omgeving kregen de studenten de volgende instructie:

Jullie schrijven individueel het raamwerk van het essay uit: ingenomen positie en argumenten voor/tegen op basis van inzichten ontleend aan de literatuur. Dit leveren jullie in en wordt apart beoordeeld en voorzien van feedback.

Het grote voordeel voor docenten is dat zij kunnen vaststellen of studenten zelfstandig de vereiste kennis konden toepassen omdat zij daarvan verslag moeten doen in een tentamen-achtige omgeving zonder hulpmiddelen.

Fase 2: na de ontvangen feedback schreven studenten een volwaardig essay waarbij zij de argumentatielijn zoals uitgezet als uitgangspunt namen. Studenten konden dit aanvullen, veranderen, etc. In deze fase mochten zij gebruik maken van GenAI zolang zij aangaven: 1. dat zij het gebruikt hebben en 2. hoe zij het gebruikt hebben. Studenten moesten een reflectienotitie schrijven over de totstandkoming van het essay en indien zij GenAI gebruikt hadden moesten zij dit aantonen door middel van een logboek (chatbots zoals ChatGPT houden geschiedenis bij van wat de bot gevraagd is en wat het op basis daarvan heeft geproduceerd). Het essay en de reflectienotitie leverden de studenten in en werden beoordeeld en (nogmaals) van feedback voorzien op basis van een vooraf opgestelde rubric.

Ter voorbereiding van fase 2, kregen studenten een workshop van twee uur over GenAI: wat is het? hoe werkt het? en er zelf mee aan de slag gaan stonden staan centraal. Tijdens deze workshop hadden we een open gesprek over GenAI, de mogelijkheden ervan, en de nadelen voor het eigen leerproces van studenten. We hebben er voor gekozen deze workshop te geven omdat veel studenten nog te weinig wisten of op de hoogte waren van wat een large language model is en wat het kan doen, inclusief de mogelijke voordelen, nadelen en ethische aspecten.

Het interessante aspect voor ons als docenten lag vooral in fase 2 waarin we zouden onderzoeken of en hoe studenten gebruik hebben gemaakt van GenAI. Let wel: dit was in 2023 met de opkomst van GenAI. Op basis van een enquête en panelgesprekken is geïnventariseerd wat de ervaringen waren van de studenten. Kort gezegd:

• de meeste studenten waren (nog) huiverig GenAI in te zetten – zij voelden zich niet bekwaam in het gebruik ervan en/of vertrouwde de resultaten niet.
• Van een minderheid die het wel had gebruikt viel op dat zij kritisch tegenover de output stonden en vooral de redactiemogelijkheden van GenAI konden waarderen.
• Wat verder opviel, in positieve zin, is de openheid waarmee studenten spraken over GenAI en de mogelijkheden en risico’s ervan. Wij denken dat dit het resultaat was van de open houding van de docenten en de workshop die gegeven was. Door het opbouwen van wederzijds vertrouwen waren we veel beter in staat het gesprek aan te gaan over het gebruik ervan. Ook de reflectienotities lieten deze openheid zien.

Wat betreft de validiteit van de gehele toets, hebben we kunnen vaststellen dat de validiteit in fase 1 voldoende gewaarborgd is. Fase 1 kwam de facto neer om een tentamen in een gecontroleerde omgeving waarvan de tentamenvragen de structuur aangaven van het te schrijven essay. Fase 2 bestond uit het schrijven het essay zelf. Door de openheid over het gebruik van GenAI hebben we goed kunnen vaststellen dat het bij de meeste studenten die er gebruik van hebben gemaakt bijdroeg aan hun schrijfvaardigheid. Dit leidt evenwel tot een ander probleem: hoe een level playing field te bereiken als we het gebruik van GenAI toestaan en hoe tot een goede beoordeling te komen van een schrijfproduct waarbij de ene student wel veel gebruik gemaakt heeft van GenAi en de andere student niet of weinig. Deze vraag hopen we in een vervolgtraject aan te pakken.

Gelet op de ervaringen hebben we het een-en-ander aangepakt en is er het een-en-ander gebeurd:

• Fase 1 hebben we meer gegoten in een tentamen vorm om studenten meer kader te geven over wat van hen verwacht wordt in deze fase. De oorspronkelijke toets gaf te weinig kader en vroeg aan studenten alleen argumenten voor en tegen te formuleren.
• De inhoud van de opdracht hebben we aangepast zodat studenten geen gebruik kunnen maken van de ervaringen van de groep van het jaar ervoor.
• Tijdens fase 2 merkten we dat meer studenten meer intensief gebruik hebben gemaakt van GenAI om tot een goed schrijfproduct te komen, terwijl de inhoud voldoende was afgekaart in de eerste fase.