Onderzoek

De effectiviteit en efficiëntie van multimediale praktijkgerichte computerexamens in het beroepsonderwijs

Inleiding

De technologie ontwikkelt zich snel wat betekent dat computerexamens steeds rijker kunnen worden vormgegeven en meer en meer opschuiven richting volledige computergestuurde simulaties. In een dergelijke simulatie heeft een kandidaat de ruimte om verschillende taken te voltooien, doelen te bereiken en vragen te beantwoorden. Oorspronkelijk werden dit type simulaties vooral ingezet voor trainingsdoeleinden, maar de laatste jaren worden ze ook steeds vaker gebruikt in een assessment context. Het beroepsonderwijs leunt voor een groot gedeelte op het gebruik van praktijkexamens voor het beoordelen van de kwaliteiten van studenten. Literatuur heeft aangetoond dat praktijkexamens vaak moeilijk kunnen beantwoorden aan bepaalde kwaliteitseisen, zoals standaardisatie, betrouwbaarheid en representativiteit. Het doel van het promotieonderzoek is om uit te zoeken in hoeverre (bepaalde) constructen die nu getoetst worden in het praktijkexamen ook, of beter, getoetst kunnen worden in een simulatie computerexamen. Deze vorm van computerexaminering noemen we multimediale praktijkgerichte computerexaminering (MPCE).


Het onderzoek

Het onderzoek bestaat uit vijf deelonderzoeken, welke samen leiden tot het proefschrift. In het eerste onderzoek is een analyse gemaakt over de (psychometrische) problematiek van praktijkexamens en de rol die het MPCE zou kunnen spelen om deze beperkingen van de praktijkexamens op te heffen. Het tweede onderzoek beslaat uit twee gedeeltes.

Het eerste gedeelte is een systematische review van de literatuur aan de hand waarvan is onderzocht naar welke simulaties in een assessment context al wetenschappelijk onderzoek is gedaan.

Het tweede gedeelte is empirisch onderzoek waarin we hebben onderzocht in hoeverre een bepaald psychometrisch model, het Bayesiaanse netwerk, toepasbaar is op de data die voortvloeit uit het gebruik van simulaties (en dus MPCE’s).

Het derde onderzoek is kwalitatief onderzoek naar het ontwerpen en ontwikkelen van MPCE’s. In het onderzoek wordt een framework gepresenteerd dat gebruikt kan worden door zowel de wetenschappelijke wereld als de praktijk om MPCE’s te ontwikkelen.

Het vierde onderzoek is empirisch onderzoek naar het gebruik van een MCPE (ontwikkeld door eX:plain) voor een bepaalde beroepsopleiding in het Nederlandse beroepsonderwijs. Een steekproef van kandidaten heeft zowel meegedaan aan het praktijkexamen voor deze opleiding als het MPCE. Vervolgens is de data uit beide examenvormen geanalyseerd en vergeleken.

Het vijfde en laatste onderzoek betreft het gebruik van een nog meer experimentele en innovatieve MPCE voor het toetsen van kandidaten in dezelfde beroepsopleiding als in het vierde onderzoek. Het doel is om moderne data mining techniek en psychometrie toe te passen om de vaardigheden van kandidaten te scoren aan de hand van dit examen.


Duur

December 2011 – december 2015.


Promotors/begeleiding

Prof Dr. Ir. Theo Eggen & Prof. Dr. Ir. Bernard Veldkamp.