Eggen, T.J.H.M. & Veldkamp, B.P. (2012). Psychometrics in practice at RCEC. Enschede: RCEC, Cito/University of Twente, 180 pp. Te downloaden als pdf: http://dx.doi.org/10.3990/3.9789036533744
Ter gelegenheid van het afscheid van Piet Sanders bij Cito heeft het Research Center voor Examinering en Certificering (RCEC), een samenwerkingsverband van de Universiteit Twente en Cito, het boek Psychometrics in Practice at RCEC uitgebracht. Het boek bestaat uit dertien hoofdstukken met een variatie aan onderwerpen.
In het eerste hoofdstuk begint Cees Glas zijn inleiding met een anekdote waarmee een link gelegd wordt tussen de inhoud van het hoofdstuk en Piet Sanders. Gezien de context waarin dit boek is uitgegeven erg leuk en het is dan ook jammer dat daar in de rest van het boek niets meer van terug te zien is. Zo’n inleiding maakt het hoofdstuk persoonlijker en was voor mij al een reden om het in zijn geheel te lezen. De samenstelling van het boek is zodanig dat het absoluut niet van voor tot achter gelezen hoeft te worden. Elk hoofdstuk is zelfstandig te lezen en daardoor is selectie op basis van onderwerpen goed mogelijk. Het is een goede keuze geweest van de samenstellers om de (cito-)horizon te verbreden door naast de strikt psychometrische onderwerpen ook hoofdstukken op te nemen die betrekking hebben op toetskwaliteit in het algemeen. Hiermee is het boek voor een bredere doelgroep interessant. Kortom, een goed boek dat de laatste stand van zaken weergeeft van het onderzoek dat uitgevoerd wordt bij het RCEC.Het eerste hoofdstuk (‘Generalizability Theory and Item Response Theory’, Cees Glas) geeft aan hoe de generaliseerbaarheidstheorie en de itemresponstheorie geïntegreerd kunnen worden, terwijl dat jaren geleden nog onmogelijk leek.
In het tweede hoofdstuk (‘Computer Adaptive Testing Item Selection in Computerized Adaptive Learning Systems’, Theo Eggen) wordt de methode van itemselectie bij adaptief toetsen gebruikt in de context van formatief beoordelen waarbij ondersteuning van het leerproces belangrijk is.Anton Béguin beschrijft in zijn hoofdstuk (‘Use of Different Sources of Information in Maintaining Standards: Examples from the Netherlands’) drie manieren voor het bepalen van normen en standaarden bij toetsen. De methodes worden beschreven aan de hand van drie praktijksituaties: de entreetoets voor de pabo’s voor rekenen en taal, het Centraal Schriftelijk Eindexamen van het voortgezet onderwijs en de Cito eindtoets voor het basisonderwijs.
Hoofdstuk 4 (‘Ensuring the Future of Computerized Adaptive Testing’, Bernard Veldkamp) gaat in op de risico’s bij ‘computer adaptive testing’ en geeft een methode om die risico’s in te perken, zodanig dat de voordelen van een adaptieve toets - een beperkte toetslengte – bewaard worden.
In hoofdstuk 5 gaan Qiwei He en Bernard Veldkamp (‘Classifying Unstructured Textual Data Using the Product Score Model: An Alternative Text Mining Algorithm’) in op het beoordelen van geschreven teksten. Psychometrisch leveren deze assessmentvormen problemen op voor analyse, maar door middel van ‘text mining’ is het, op termijn, mogelijk om ook deze assessmentvormen goed te analyseren. Hoofdstuk 6 (‘Minimizing the Testlet Effect: Identifying Critical Testlet Features by Means of Tree-Based Regression’, Muirne Paap en Bernard Veldkamp) beschrijft hoe je om kan gaan met toetsen waarbij er tussen sommige items een afhankelijkheid zit. In dat geval is de standaard IRT-methode niet toereikend.
Hoofdstuk 7 (‘Mixed Methods: Using A Combination Of Techniques To Assess Writing Ability’, Hiske Feenstra) laat zien dat een combinatie van (indirecte) beoordelingen een bijdrage kan leveren aan het verhogen van de validiteit, betrouwbaarheid en objectiviteit van het beoordelen van de schrijfvaardigheid. Hierbij wordt ervan uitgegaan dat verschillende aspecten van de schrijfvaardigheid verschillende beoordelingsmethoden vereisen.
Maarten Marsman, Gunter Maris en Timo Bechger schrijven in hoofdstuk 8 (‘Don’t tie yourself to an onion: Don’t tie yourself to assumptions of normality’) hoe je om kan gaan met gegevens waarbij de vaardigheidsverdeling niet voldoet aan de eisen van een normale verdeling.
Hoofdstuk 9 is geschreven door Saskia Wools (‘Towards a comprehensive evaluation system for the quality of tests and assessments’). Uitgangspunt van het hoofdstuk is dat toetskwaliteit afhankelijk is van het doel van de toets. In dit hoofdstuk worden verschillende beoordelingssystemen, zoals het COTAN beoordelingssysteem en de ETS ‘standards’, met elkaar vergeleken en worden ontwerprichtlijnen gegeven.
Hoofdstuk 10 (‘Influences on classification accuracy of exam sets: an example from vocational education and training’, Marianne Hubregtse en Theo Eggen) beschrijft een studie in het mbo waarbij gekeken is hoe nauwkeurig beoordelingen zijn bij het gebruik van een combinatie van examens. Daarbij is tevens gekeken wat het effect is van compensatieregels.
In hoofdstuk 11 geeft Maaike van Groen verschillende mogelijkheden voor het gebruik van ‘computerized classification testing’ bij verschillende toetsdoelen: selectie, classificatie, plaatsing of certificering.
Hoofdstuk 12 beschrijft hoe computer gebaseerde toetsen bijdragen aan vernieuwingen ten aanzien van itemvormen, antwoordmogelijkheden, gebruik van multimedia, mate van interactie en scoringsmethoden (‘An overview of innovative computerbased testing’, Sebastiaan de Klerk).
Tot slot beschrijven Jorine Vermeulen en Fabienne van der Kleij in hoofdstuk 13 (‘Towards an integrative formative approach of data-driven decision making, assessment for learning, and diagnostic testing’) drie methoden van beoordelen die bijdragen aan de kwaliteit van leren. Hierbij bespreken zij hoe deze methoden gezamenlijk bijdragen aan de formatieve benadering van toetsing.
Mw. dr. Desirée Joosten-ten Brinke is redacteur van EXAMENS, lector Eigentijds toetsen en beoordelen bij Fontys lerarenopleiding Tilburg en universitair docent bij de Open Universiteit. E-mail: desiree. joosten-tenbrinke@ou.nl, d.tenbrinke@fontys.nl.
