Een itembank bevat vragen die kunnen worden gebruikt voor toetsing. Het maakt de toetsvragen breder toegankelijk en verhoogt de kwaliteit ervan. Het opbouwen van een itembank kost tijd en is het resultaat van teamwerk.

Het idee achter een itembank is dat de toetsvragen die in de bank zitten, voorzien zijn van kenmerken (metadata, tags, trefwoorden, labels) waardoor ze op verschillende manieren toegankelijk zijn. Voorbeelden van kenmerken zijn:

• Gebruiksgegevens (bijvoorbeeld wie heeft een vraag het laatst bewerkt of wie is inhoudelijk verantwoordelijk voor een vraag);
• Validatie (bijvoorbeeld wanneer is de vraag gescreend en door wie);
• Bevragingsniveau (bijvoorbeeld kennis, begrip, toepassing of denken);
• Soort vraag (één uit meer, hotspot, enzovoort);
• Moeilijkheidsgraad (gemakkelijk, gemiddeld, moeilijk);
• Kenmerken over de functie van de toetsvraag (bijvoorbeeld ‘oefenen’, ‘diagnostisch’, ‘summatief’);
• Inhoudelijke kenmerken of attributen, zoals onderwerpen of trefwoorden;
• Psychometrische kenmerken (bijvoorbeeld moeilijkheidsgraad van de toetsvraag).

Voordelen van een itembank

Een itembank met kwalitatief goede toetsvragen bevordert een valide en betrouwbare toetsing. Itembanken kunnen worden ingericht op het niveau van een opleiding of van een vakgebied (eventueel landelijk) of van een cursus. De keuze hiervoor wordt meestal centraal (opleidingsniveau) gemaakt, hetzelfde geldt voor het vaststellen van de kenmerken die aan een vraag gekoppeld kunnen worden.

Het gebruik van een itembank voor de opslag van vragen en het samenstellen van toetsen heeft een aantal belangrijke voordelen (Dousma, Horsten et al. 1997 in Draaijer, 2004):

• een vraag hoeft slechts 1 x  te worden ingetypt;
• een vraag is snel te verbeteren, waardoor typografische fouten kunnen worden voorkomen;
• kwalitatief slechte vragen zijn snel op te sporen en te verbeteren;
• er is een goed zicht op de totale itembank en de verdeling naar leerstofonderdelen (eenvoudig te onderhouden);
• toetsvragen zijn eenvoudig te selecteren voor opname in een toets;
• meerdere toetsversies, bijvoorbeeld om spieken tegen te gaan, zijn simpel te produceren;
• opslag van analyseresultaten kan worden geautomatiseerd.

Een itembank ontwerpen

Voordat een itembank op instellings-, opleidings- of disciplineniveau gevuld wordt met toetsvragen, is het nodig om de hoofdindeling van de itembank vast te leggen. Is het van belang het doel en de hoofdstructuur van de itembank te bepalen en een metadatamodel te ontwikkelen.

Het doel van een itembank

Materiaal voor formatief-diagnostische of summatieve doeleinden kan in één itembank worden ondergebracht. Het onderscheid zit in het wel/niet zichtbaar maken van de feedback, het niveau waarop wordt getoetst en in de reikwijdte van de vragen.

Diagnostische, ofwel formatieve items worden gebruikt om informatie te geven over de sterke en zwakke punten van de individuele student met als uiteindelijk doel de zwakke punten op te heffen. Hierbij dient de toets alle onderwerpen te dekken waarop een diagnose uitgevoerd dient te worden. Per onderwerp moeten toetsvragen van verschillende moeilijkheidsgraad in de itembank aanwezig zijn. De toets kan op verschillende momenten worden afgenomen. Om het leereffect van de toets te vergroten kan inhoudelijke feedback aan de items gekoppeld worden.

Selectieve, ofwel summatieve items worden gebruik om een uitspraak willen doen of en in welke mate de student de gestelde doelen heeft bereikt, bijvoorbeeld in termen van slagen of zakken. Hierbij dient de toets alleen de onderwerpen te dekken waarop geselecteerd wordt. De toetsvragen dienen een moeilijkheidsgraad te hebben dat ligt rond het slaag/zak niveau. De toets dient onder gecontroleerde omstandigheden te worden afgenomen zodat fraude onmogelijk wordt.

Als een instelling besluit om de toetsvragen voor formatieve en summatieve toetsing van elkaar te scheiden (bijvoorbeeld omdat er nog onzekerheid is over de kwaliteit van een vraag) is het handig om in de structuur van de itembank een onderscheid te maken tussen vragen die worden gebruikt voor de formatieve of summatieve doeleinden. Toetsvragen die men wil reserveren voor summatieve doeleinden (bijvoorbeeld omdat de itembank nog beperkt is), moeten –indien gewenst- beschermd kunnen worden zodat deze niet al bekend zijn en verspreid kunnen worden.

De hoofdstructuur van de itembank

Een itembank kan worden gezien als een relationele database. In die database zitten verschillende toetsvragen met de daarbij behorende gegevens (stam, antwoord-alternatieven, feedback, teksten, plaatjes, beoordelingscriteria, etc.). Meestal zijn itembanken zo ingericht dat per vakinhoudelijk onderwerp een subverdeling duidelijk zichtbaar is:

• domein/competentie,subdomein/
  • subcompetentie,subsubdomein/subsubcompetentie
    • toetsvraag A
    • toetsvraag B
    • toetsvraag C

Het kiezen en afbakenen van een onderwerp of domeinindeling is lastig. Het is handig om dit op een zo hoog mogelijk niveau af te spreken. Vaak komt boven op deze indeling bijvoorbeeld nog een indeling naar organisatorische eenheid, zoals een faculteit of vakgroep, waartoe het domein behoort.

Structuur op basis van bevragingsniveau

De leerstof kan ook worden geordend op basis van bevragingsniveau: op welk niveau dient de student de leerstof te beheersen. De volgende categorieën worden onderscheiden:

1. Kennis (reproductie): in hoeverre kan de student feiten, observaties en definities reproduceren, herkennen en of de strekking ervan kan weergeven.
2. Begrip: richt zich op het maken van gevolgtrekkingen, het aangeven van consequenties van theorieën of het met eigen woorden geven van beschrijvingen.
3. Toepassing: richt zich op het toepassen van begrippen, principes, regels, methoden of technieken uit de leerstof.
4. Denken: in hoeverre kan de student productief en creatief denken met als doel nieuwe oplossingen te vinden.

Structuur op basis van een toetsmatrijs: combinatie van vakinhoud en bevragingsniveau

Vakinhoud en bevragingsniveau kunnen gecombineerd worden in een toetsmatrijs. Dit is een tabel waarin de rijen van de tabel worden gevormd door de vakinhoudelijke ordening en de kolommen gevormd worden door de ordening naar niveau. In de cellen die zo ontstaan kan worden ingevuld hoeveel toetsvragen op dat snijpunt geformuleerd gaan worden. De toetsmatrijs is het ontwerp van de toets en kan worden gebruikt om de itembank inhoudelijk te structureren en de toets samen te stellen en te genereren.

Het metadatamodel (kenmerken)

Bij een itembank horen toetsvragen en bij toetsvragen horen kenmerken of metadata. Metadata betekent letterlijk: data over data (gegevens over gegevens), het is beschrijvende informatie over eigenschappen van data, in dit geval toetsvragen. Een metadatabeschrijvingsmodel bestaat over het algemeen uit een verzameling van kenmerken, waarbij elk van die kenmerken een (vastgestelde) waarde aan kan nemen. Een kenmerk kan bijvoorbeeld ‘moeilijkheidsgraad’ zijn en deze kan alleen de vastgestelde waarden ‘gemakkelijk’, ‘gemiddeld’ of ‘moeilijk’ aannemen. Andere voorbeelden zijn: datum van opname in de itembank, datum van wijziging, herkomst van het item (auteur, boek), laatste afname datum, aantal malen dat een item gebruikt is voor een tentamen, vraagvorm (meerkeuzevraag, open rekenvraag). De meeste van dit soort gegevens zijn van belang voor het onderhouden van de itembank, sommige zijn ook handig om te gebruiken bij het selecteren van een toets (bijvoorbeeld laatste afnamedatum).

Een metadatamodel heeft een verband met de structuur van de itembank. Elk van de kenmerken zou kunnen resulteren in aparte databestanden, waarbij het gegeven kenmerk de primaire ordeningssleutel is. Over het algemeen is het vakinhoudelijk onderwerp de belangrijkste ordeningssleutel. Daaroverheen worden dan metadatagegevens geplaatst.

Als de metadata erg uitgebreid zijn, dan zal ook de tijd voor het invoeren en beheren (met name volledigheidscontrole) van de itembank toenemen. Het invoeren zal dan niet meer overgelaten kunnen worden aan individuele docenten.

Psychometrische gegevens

Als een tentamen online is afgenomen of verwerkt wordt met een toetsverwerkings-programma kunnen psychometrische gegevens worden berekend over de afzonderlijke items en over de toets als geheel. Deze psychometrische gegevens geven een indicatie voor de kwaliteit van het toetsitem. In veel itembanksystemen kunnen psychometrische gegevens worden bijgeschreven in de itembank en eventueel worden gebruikt voor de selectie van items voor een toets. Het gebruik van psychometrische gegevens kan er toe bijdragen dat alleen de goede items in de bank bewaard blijven en dat u een kwalitatief steeds betere itembank krijgt, waar kwalitatief steeds betere toetsen uit geselecteerd kunnen worden. De meest gebruikte psychometrische gegevens van een toetsitem zijn:

• p-waarde (de moeilijkheidsgraad van het item)
• rit-waarde (de mate waarin het item discrimineert tussen studenten die de stof wel en studenten die de stof niet beheersen).

Referenties

• Baars, Gerard A.J., Verkuijl-Wieland, Annemieke e.a. (2009). Digitale Didactiek. Den Haag – Lemma.
• Bruggen, L. van & Ritzen, M.M.J. (2010). Verbeteringen in digitaal toetsen UMC Utrecht. OnderwijsInnovatie, 12(3), 25-28.
• Dopper, S. (2002). Online toetsen met Etude. Onderwijskundige handleiding bij versie 2.2. TU-Delft, Sectie EduTec.
• Draaijer S. (2004). Flexibilisering van Toetsing. Utrecht, Digitale Universiteit.
• Huizer, C.G., Ouwehand, G.M., Zander, van der A.H.W. (red.) 2011. Ontwikkelingen in de Delftse Toetspraktijk. Technische Universiteit Delft.
• Wijk, van der Geert (2011). Werken met itembanken. Examens, jrg 8,  03.