Onderzoek

Methods for making classification decisions, Maaike van Groen

De meeste adaptieve toetsen richten zich op het zo accuraat en efficiënt mogelijk schatten van de kandidaats vaardigheid. Computergestuurde classificatie toetsen (CCT) hebben een ander doel: het zo accuraat en efficiënt mogelijk classificeren van kandidaten. Een classificatie beslissing wordt genomen waarbij een kandidaat wordt ingedeeld in één categorie uit een set van categorieën verspreid over de vaardigheidsschaal (Lin & Spray, 2000). Daarbij worden grenspunten gezet tussen de categorieën (Eggen, 1999).

Een computergestuurde classificatie test kent een flexibele toetslengte waarbij een beslissing genomen wordt over het niveau van de kandidaat zodra er voldoende bewijs verzameld is voor het nemen van de beslissing (Finkelman, 2008). De classificatiemethode kiest na ieder item of de toetsing gestopt kan worden zodat er een beslissing genomen kan worden of dat een volgend item aangeboden dient te worden. Er zijn reeds verschillende methoden ontwikkeld voor het nemen van de classificatiebeslissing en voor het selecteren van items.

Kandidaten worden geclassificeerd middels een classificatiemethode. Een classificatiemethode gebruikt een statistische regel om beslissing te nemen op basis van bepaalde instellingen (Thompson, 2009). Thompson (2009) deelt de methoden in drie groepen in die gebaseerd zijn op vergelijkbare statistische procedures. De sequential probability ratio testing (SPRT) gebruikt hypothesen voor het classificeren van de kandidaten. De tweede groep bestaat uit methoden die uitgaan van het betrouwbaarheidsinterval rondom de vaardigheidsschatting (Kingsbury & Weiss, 1979). Tenslotte zijn er methoden op basis van beslissingstheorie (DeGroot, 1970; Rudner, 2002; Vos, 2000).

Itemselectiemethoden selecteren het volgende item op basis van een criterium. Dit kan gebaseerd op de prestaties van de kandidaat tot nu toe (Chang & Ying, 1996). Itemselectiemethoden gaan vaak uit van het concept informatie. Een populaire methode selecteert het item dat het meeste informatie kan leveren op het punt van de huidige vaardigheidsschatting. Een andere methode maximaliseert informatie op het grenspunt. Andere methoden zijn bijvoorbeeld gebaseerd op Bayesiaanse criteria of zijn gericht op het beperken van het aantal afnames van specificieke items of op het bewaken van de inhoudelijke samenstelling van de toets.

Het grote voordeel van adaptief toetsen is dat de schattingen efficiënter zijn terwijl er veel minder items nodig zijn dan bij conventionele toetsen (Weiss, 1982). Kortere toetsen hebben als voordelen: een lagere toetstijd, lagere kosten, items worden minder vaak gebruikt, reduceren problemen met test security en de itembanken hoeven minder vaak te worden vervangen (Finkelman, 2008). Voordelen van adaptieve classificatietoetsen ten opzichte van reguliere classificatietoetsen zijn dat er snel een beslissing kan worden genomen over de kandidaten die overduidelijk een bepaald niveau hebben bereikt terwijl langere toetsen aangeboden worden aan kandidaten waarvan het niveau minder duidelijk is en dat de itemselectie afgestemd kan worden op het niveau van de kandidaat. Door items aan te bieden die op het niveau van de kandidaat zijn hoeven kandidaten geen items te maken die te moeilijk of te makkelijk zijn.

Hoewel er al diverse itemselectie en classificatiemethoden bestaan voor adaptieve classificatietoetsen is dit onderzoeksproject gericht op het ontwikkelen van nieuwe en het onderzoeken van bestaande itemselectie en classificatiemethoden. De volgende onderwerpen zullen worden onderzocht:

  • De relatie tussen toetsdoel en computergestuurde classificatietoetsing
  • Itemselectiemethoden die uitgaan van “multiple objective approaches”
  • Classificatiemethoden voor unidimensionele classificatietoetsen
  • Classificatiemethoden voor multidimensionele classificatietoetsen
  • Multidimensionele computergestuurde adaptieve toetsen