Zijn we het eens? Interbeoordelaarsbetrouwbaarheid in de pedagogiek en het onderwijs

In een opvoedkundige context moet vaak beoordeeld worden: een onderwijzer beslist of het gedrag van een leerling bestraft wordt, een docent beoordeelt een scriptie of een raadsonderzoeker geeft een complexe assessment van een verdachte jongere. De interbeoordelaarsbetrouwbaarheid (IBB) geeft de mate weer waarin verschillende beoordelaars het met elkaar eens zijn. In dit paper behandelen we drie vragen over de IBB. De eerste vraag - Hoe bepaal je de IBB? - is niet eenduidig te beantwoorden omdat er veel coëfficiënten zijn om de IBB te schatten, die vaak verschillende resultaten opleveren. De keuze voor een IBB-coëfficiënt wordt bepaald door het doel en het design van het onderzoek, en door persoonlijke voorkeur. Het antwoord op de tweede vraag - Hoe kun je de IBB verhogen? - behelst het verhogen van de kwaliteit van de items, de rubrics en de beoordelingsprocedure, en de kunde van de beoordelaars. De derde vraag
- Wanneer is de IBB hoog genoeg? - kan ook niet ondubbelzinnig worden beantwoord. We presenteren methoden om benchmarks voor één IBB-coëfficiënt in een andere te transformeren, maar stellen dat meer methodologisch onderzoek naar IBB vereist is om betere antwoorden op deze vraag te bieden.