Onderzoek

Naar een integraal beoordelingsinstrument voor de kwaliteit van onderwijstoetsen, Saskia Wools

In dit promotieproject wordt getracht een beoordelingsinstrument te ontwikkelen waarmee de kwaliteit van alle soorten onderwijstoetsen geëvalueerd kan worden. Voordat hier daadwerkelijk aan begonnen wordt zullen eerst specifieke aspecten van de kwaliteit van toetsen nader onderzocht worden. Hierbij valt te denken aan validiteit en valideren, betrouwbaarheid van samengestelde toetsen en standaardbepaling.

Aanleiding en verdieping

In 2007 is een beoordelingsinstrument ontwikkeld waarmee de kwaliteit van performance assessments geëvalueerd kan worden (Wools, Sanders & Roelofs, 2007). Tijdens de ontwikkeling van dit beoordelingsinstrument bleek dat voor een goede beoordeling van de kwaliteit van innovatieve toetsvormen meer onderzoek noodzakelijk was. Dit aanvullende onderzoek wordt nu in de vorm van een promotieproject uitgevoerd. Het uiteindelijke doel van het project is om te komen tot een integraal beoordelingsinstrument voor alle soorten toetsen die in het onderwijs gebruikt worden.

Het eerste onderwerp dat in het project aan de orde komt is validiteit. Ondanks het belang van validiteit voor de kwaliteit van toetsen is er momenteel nog weinig bekend over de mogelijkheden om de validiteit van studietoetsen te evalueren. In dit deel van het onderzoeksproject wordt onderzocht in hoeverre een kader voor het valideren van toetsen (Kane, 2004) houvast biedt voor het formuleren van kwaliteitscriteria om de validiteit van toetsen te kunnen beoordelen.

Het tweede deel van het onderzoeksproject richt zich op het evalueren van samengestelde toetsen, zoals portfolio’s en competentie assessment programma’s (CAP’s). Deze samenstellingen van toetsen leiden geregeld tot één enkele beslissing over de kandidaat. In het project zal specifiek onderzocht worden hoe de validiteit en betrouwbaarheid van deze beslissingen (die gebaseerd zijn op meerdere toetsen of beoordelingen) gewaarborgd kunnen worden.

Het derde deel van het onderzoeksproject zal ingaan op de vergelijkbaarheid van beslissingen die tot stand gekomen zijn op basis van verschillende combinaties van toetsen. Deze vergelijkbaarheid wordt in hoge mate beïnvloed door de kwaliteit van prestatiestandaarden. In dit deelonderzoek wordt nagegaan wat doorslaggevende kwaliteitsaspecten zijn van prestatiestandaarden en standaardbepalingsprocedures om een vergelijkbare beslissing te kunnen garanderen.

Ten slotte zullen de inzichten uit de deelonderzoeken gecombineerd worden en zal een integraal beoordelingsinstrument ontwikkeld worden. Dit beoordelingsinstrument kan worden ingezet om de kwaliteit van verschillende toetsen te bepalen alsmede voor het evalueren van (verschillende) samenstellingen van toetsen. Het volledige project zal in het eerste kwartaal van 2013 afgerond zijn.