Niets doet het zo goed in de media als berichten in de trant van: ‘politieman blijkt dief’ of ‘rechter wordt beboet voor overtreding’. Of meer naar het onderwijs gekeken: ‘leerkrachten kunnen niet spellen’. Het gaat erom dat beoefenaren van een specifiek metier zondigen tegen hun eigen beginselen of in ieder geval de basisvaardigheden van het beroep niet blijken te beheersen.
Een basisbeginsel voor goede toetsing is het uitgaan van het begrip betrouwbaarheid. De betrouwbaarheid van een toets moet zo hoog mogelijk zijn om het aantal studenten dat onterecht zakt of slaagt zo klein mogelijk te maken. Onbetrouwbare toetsen zijn volgens mij volop in omloop. Het opvallende is dat over het algemeen in de media nooit zaken verschijnen die gaan over de vermeende slechte psychometrische betrouwbaarheid van toetsen. Het is waarschijnlijk te ingewikkeld om aan het grote publiek een concept als Cronbach alpha uit te leggen en vervolgens aan te geven dat daar wat mis mee is.
Als het toetsen en beoordelen betreft, gaat het in de media veel vaker over de situaties waarvan ook leken kunnen zien dat er problemen waren. Vooral de situatie dat de antwoorden op het tentamen al gepubliceerd waren op internet voordat de toets zou plaatsvinden. Valkuilen waarin iedereen kan vallen. Meestal is er overmacht in het spel. Ongelukkige samenlopen van omstandigheden. Het zal in de toekomst waarschijnlijk nog wel eens voorkomen.
De media kunnen ook scoren met het naar buiten brengen van de veelvoorkomende ergernisvragen van studenten. Leg studenten een vraag voor waarin twee stellingen worden gepresenteerd met de alternatieven: A) stelling I onjuist, stelling II onjuist, B) stelling I juist, stelling II onjuist etc. Het gezucht en gekreun van de studenten is niet van de lucht. Of geef vragen waarin geen probleem wordt geformuleerd, maar waar studenten lange antwoordalternatieven met veel mitsen, maren en verbijzonderingen moeten interpreteren. Dit zijn typische vragen waarvoor elk handboek toetsontwikkeling waarschuwt. Ontwikkel dergelijke vragen niet!
Voor het schrijven van deze column ben ik eens gaan rondstruinen op de sites van de verschillende leden van de NVE om hun demonstratietoetsen te bekijken. Zouden onze leden dergelijke toetsvragen presenteren als exemplars of best practices voor hun toetsen? Ik zou toch mogen hopen van niet. Helaas, op in ieder geval drie sites vond ik voorbeeldvragen met deze ‘beginnersfouten’. Nee, ik zal niet vertellen welke leden of toetsen dit betreft. Maar een kwalificatie in de trant van ‘toetsontwikkelaar zakt voor examen toetsvraagontwikkeling’ zou daar het best bij passen. Wat zou dit betekenen ten aanzien van de betrouwbaarheid van de door hen ontwikkelde toetsen vraag ik mij vervolgens af…
De heer ir. S. Draaijer is onderwijskundig adviseur bij de afdeling hoger onderwijs van het Onderwijscentrum van de Vrije Universiteit Amsterdam.
E-mail: s.draaijer@vu.nl.
De redactie verwelkomt in 2012 een nieuwe columnist. Silvester Draaijer zal dit jaar zijn persoonlijke visie geven op toetsen en examineren. Hier treft u zijn eerste bijdrage die de lezers uitdaagt om te reageren.
