Net zo lang als er mensen rondlopen, zijn er rangorden. Een rangorde voorkomt wanorde. Het maakt de verhoudingen duidelijk. Mensen zijn nu eenmaal groepsdieren. Zij bepalen onderling wie dominant is. Zij willen een hiërarchie. Net als honden in de roedel. En net als kippen, met hun pikorde. Een rangorde is overzichtelijk en nuttig. En het is soms ook leuk. Als mensen maken we graag en vaak lijstjes. Een top honderd van machtigste mannen. Of vrouwen. We kunnen uren snuffelen in rankings, zoals in de sport of van landen (probeer maar eens: http://www.geographyiq.com/ranking/rankings. htm en kijk waar Nederland staat).
Maar we hebben een haat-liefdeverhouding tot ranglijsten als het om onderwijs gaat. In veel landen zijn de zogenaamde league tables berucht, lijsten van scholen of universiteiten, die in de kranten worden gepubliceerd. Zoals in Engeland. En in de VS begon de Commission of US Bureaus of Education al in 1870 rankings van universiteiten bij te houden. Rangordening helpt om kwaliteit uit te drukken als mix van een aantal, soms zeer verschillende variabelen. Bij de beoordeling van werkstukken of bij een standard setting-procedure kan rangordenen een praktisch instrument zijn. Door scores eerst te rangordenen kun je verdelingsvrije maten berekenen, zoals een rangorde-correlatie. Maar rankings zijn ook een maat van politiek. Zo merkten we maar weer eens, toen staatssecretaris Sander Dekker aankondigde een lijst te willen vrijgeven van scholen, gerangschikt naar de gemiddelde scores op de Cito Eindtoets Basisonderwijs. Kranten en internet stonden er bol van.
En dan wordt het oppassen. Want rankings kunnen ook een schijnwerkelijkheid creëren. De gemiddelde eindtoetsscores liggen zo dicht bij elkaar dat een kleine verandering in de score een grote verandering in de ranglijst kan betekenen. Bij een school met één of twee klassen groep 8 (of soms zelfs maar een halve) is er van jaar tot jaar geen stabiele gemiddelde score. De populatie is daarvoor te klein. Zelfs de score van één individuele leerling kan al een groot effect hebben op de schoolscore, en daarmee op de ranking. Een school kan toevallig een goede of een slechte lichting hebben. En, ja: perverse effecten liggen dan op de loer. Zo is het aantrekkelijk om het minst slimme jongetje of meisje in de klas zich ziek te laten melden voor de eindtoets. Of misschien ontstaat er zelfs een transfermarkt voor slimme leerlingen, die, net als bij het voetbal, voor veel geld naar een school worden gelokt. Om daarmee tientallen plaatsen in de lijst te stijgen.
Een rangorde gaat soms een eigen leven leiden. Zo werd er in Nederland somber en teleurgesteld gereageerd toen Nederland een paar plaatsen zakte op de PISA-ranking. En dat terwijl de scores zelf niet echt slechter waren. Prompt werd er in de Tweede Kamer unaniem een motie aangenomen die stelde dat Nederland in de top vijf van de PISA-lijst moet staan. Tja, wie kan daar nu tegen zijn? Maar het doel van beter onderwijs is natuurlijk niet om hoog in de ranking te staan. Het doel van beter onderwijs is om kinderen meer uit zichzelf te laten halen, om de achievement gap te verkleinen. Zo’n kamermotie is een typisch voorbeeld van doel-middelverwarring. En is kenmerkend voor het niveau waarop onze nationale politiek thans opereert.
‘One of the major risks of relying on ranking results is when the exercise becomes the goal itself instead of serving as a measure of progress towards quality’ schrijven Salmi & Saroyan (2007). Zolang ranglijsten een positief effect hebben op de kwaliteit van het onderwijs, is er niets aan de hand. Zo was ik onlangs in Pakistan op bezoek bij de Higher Education Commission. Die ging, na een verontrustende analyse, in 2000 aan de slag om universiteiten te scoren en te rangordenen op kwaliteit. De doorstroom naar het hoger onderwijs was toen het laagste van de wereld: 3%. Inmiddels is dat percentage een stuk hoger en is er structureel toezicht op de basiskwaliteit. De ranking was een prikkel voor kwaliteitsverbetering.
Rankings en lijstjes moeten geen obsessie worden. Ze zijn een goed middel voor bewustwording of om het gesprek over kwaliteit aan te gaan. Maar ze moeten geen eigen leven gaan leiden.
De heer drs. M. Roorda is CEO/Voorzitter Raad van Bestuur van Cito. E-mail: Marten. Roorda@cito.com.
Salmi, J. & Saroyan, A. (2007). League tables as policy instruments: Uses and Misuses, Higher Education in the World. In: OECD, Higher Education Management and Policy, Journal of the Programme on Institutional Management in Higher Education, 9(2), 31-68, m.n. 53-54. http://www.sigmus.edu.rs/eng/files/management%20in%20HE,%20vol2.pdf
