Achtergronden COTAN-onderzoek

Betrouwbaarheid

Eén van de belangrijkste punten waarop een meetinstrumenten wordt beoordeeld, is de betrouwbaarheid.
Een indicator voor de betrouwbaarheid is de mate van interne consistentie. Deze wordt uitgedrukt in een getal met de naam ‘Cronbach’s Alpha’. Een Cronbach’s Alpha tussen 0,80 en 1,00 is bevredigend. Zowel het geheel van ZIEN! als de subschalen blijkt de Cronbach’s Alpha ruim boven de 0,80 te liggen. De betrouwbaarheid van het instrument is dus hoog.
Een andere manier om de betrouwbaarheid vast te stellen, is het bepalen van de interbeoordelaarsbetrouwbaarheid.  Voor bijna 300 leerlingen hebben duoleerkrachten ZIEN!-vragenlijsten ingevuld, elk één voor dezelfde leerling, die met elkaar vergeleken werden. De overeenkomst tussen de scores die beide leerkrachten gaven, is voor alle dimensies significant. Dus de uitkomsten van de vragenlijst voor een leerling zijn bij verschillende leerkrachten vrijwel gelijk. Ook dit duidt erop dat het instrument voldoende betrouwbaar is.

Validiteit

Bij het bepalen van de validiteit van een vragenlijst gaat het erom dat wordt bepaald of de vragenlijst daadwerkelijk meet wat je wilt meten. Op basis van literatuur en praktijkervaringen is er gekozen voor zeven dimensies (welbevinden, betrokkenheid en vijf sociale vaardigheden).  Op drie manieren is vastgesteld dat deze dimensies onderscheiden en relevant zijn:

1. Door middel van een factoranalyse is vastgesteld dat het om zeven dimensies gaat, waarbij telkens de vier vragen van een dimensie meer met elkaar te maken hebben dan met de vragen van andere dimensies.
2. De correlaties tussen de diverse factoren komen overeen met dat wat je op grond van theorie zou mogen verwachten. De meeste correlaties zijn hoog. Het is bijvoorbeeld heel verklaarbaar dat kinderen die sociaal heel flexibel zijn, ook een goed welbevinden hebben. Of dat kinderen die hoog scoren op impulsbeheersing, meer betrokkenheid laten zien.
3. De scores op de verschillende dimensies zijn vergeleken met scores die leerkrachten gaven over dezelfde leerling, op andere vragenlijsten, waarvan bekend is dat ze valide en betrouwbaar zijn.
   Voor bijna 300 leerlingen heeft een leerkracht de drie vragenlijsten ingevuld: ZIEN!,  de TRF (een gedragsvragenlijst die probleemgedrag in kaart brengt) en de Blikvanger (een vragenlijst die de persoonlijkheid van een kind in kaart brengt) ingevuld.
4. Vooraf waren hypothesen opgesteld op grond van theorie over welke verbanden er verwacht werden. Al die hypothesen blijken bevestigd te zijn. Zo blijkt op grond van de vergelijking met de TRF dat hoe meer probleemgedrag een kind laat zien, hoe lager de score op ZIEN! (die juist positief sociaal gedrag in kaart brengt). En specifieker klopt het ook:
   
   1. Hoe meer aandachtsproblemen, hoe lager de betrokkenheid
   2. Hoe meer internaliserende problemen (teruggetrokken gedrag en angstig en depressief gedrag), hoe lager het welbevinden
   3. Hoe meer externaliserende problemen (agressief en/of delinquent gedrag), hoe lager sociale flexibiliteit              

Er blijken heel veel significante correlaties (verbanden) te zijn tussen de scores op ZIEN! en de scores op de Blikvanger. Daaruit blijkt bijvoorbeeld dat, zoals je zou verwachten, het sociaal-emotioneel functioneren nauw samenhangt met bepaalde persoonlijkheidskenmerken van een kind. Enkele concrete voorbeelden:

1. Hoe hoger de score op de subschaal Positieve emotionaliteit, hoe hoger de score op de dimensie Welbevinden
2. Hoe hoger de score op de subschaal Toenadering, hoe hoger de score op de dimensie Sociaal initiatief
3. Hoe hoger de score op de subschaal Meegaandheid, hoe hoger de score op de dimensie Sociale Flexibiliteit
4. Hoe hoger de score op de subschaal Zorgvuldigheid, hoe hoger de score op de dimensie Betrokkenheid
5. Hoe hoger de score op de subschaal Impulsiviteit, hoe hoger de score op de dimensie Impulsbeheersing

Normering

Er heeft een normeringsonderzoek plaatsgevonden: In de periode van 22 oktober tot 16 december 2009 zijn voor ruim 11.000 leerlingen van groep 1-4 en voor ruim 15.000 leerlingen van groep 5-8 ZIEN!vragenlijsten ingevuld. Deze scores zijn anoniem gebruikt voor analyses.
In totaal zijn er vier normgroepen vastgesteld:

1. Jongens van groep 1-4
2. Meisjes van groep 1-4
3. Jongens van groep 5-8
4. Meisjes van groep 5-8

Per normgroep is met behulp van een tabel zoals hieronder vast te stellen hoe de score van een individuele leerling moet worden beoordeeld.

Deze nieuwe normen zullen waarschijnlijk in de loop van september worden doorgevoerd in ZIEN!. In sommige gevallen betekent het dat de norm 'strenger' is geworden: er is een hogere score nodig om een groen vakje te krijgen.

Daarnaast zal er een technische aanpassing gebeuren in ZIEN!: voortaan worden niet langer de labels 'onvoldoende', 'voldoende' e.d. gegeven aan een kleur, maar komt er een niveauwaarde te staan: een (komma)getal tussen de 0 en de 5. Daarmee wordt meer recht gedaan aan de waarde die toegekend mag worden aan de score.
Een score tussen de 4 en de 5 (blauw) betekent dan dat een kind op die vaardigheid behoort tot de 25% hoogst scorende leerlingen.

Regelmatig bereikt ons het verzoek om een aangepaste normering voor het speciaal(basis)onderwijs te maken. De achtergrond van de vraag is dan meestal dat de school bang is dat ZIEN! te weinig zal differentiëren. Ze verwachten dat er veel rood zal zijn.

We kiezen er bewust voor om een normering te hanteren, die geldt voor alle (autochtone) leerlingen in Nederland.
Enkele opmerkingen hierbij:

• De sociaal-emotionele ontwikkeling wordt niet bepaald door het schooltype. Wel door het geslacht en de leeftijd
• Bij een intelligentietest, didactische toets of gedragsvragenlijst vergelijk je een kind immers ook met een gemiddelde leeftijdgenootgenoot (waarbij bij gedragsvragenlijsten meestal het onderscheid in sekse wordt gemaakt)?!
• Hoe wordt bepaald of een leerling op het sbo of op het reguliere onderwijs zit? Zeker nu passend onderwijs er aan komt, blijven steeds meer leerlingen met specifieke onderwijsbehoeften in het reguliere onderwijs. Er is daarom geen eenduidig criterium vast te stellen om de normgroepen te bepalen en om een keuze te maken welke normen gehanteerd moeten worden.
• ZIEN! wordt inmiddels op heel wat scholen voor s(b)o gebruikt. Deze leerlingen zitten ook in het bestand dat gebruikt is om de normering te bepalen. De verhouding tussen de leerlingen op het reguliere basisonderwijs en het speciale (basis)onderwijs lijkt overeen te komen met de verhouding die in het algemeen in Nederland er is.
• Tijdens het normeringsonderzoek is er wel als experiment een verdeling gemaakt tussen de gegevens van leerlingen die een reguliere basisschool bezoeken en leerlingen die op het s(b)o zitten. Er blijken verschillen te zijn, maar die zijn relatief klein. Op vier vragen (waar maximaal 16 punten behaald kunnen worden) is het verschil per schaal meestal 1 of 2 punten. Incidenteel 3.
• Door te gaan werken met niveauwaarden (zoals hiervoor beschreven), zal ook binnen het s(b)o voldoende differentiatie zichtbaar blijven tussen scores. Een blokje kan wel rood blijven, maar als de score van 0,5 naar 1,8 gaat, is dat voor deze leerling wel een grote vooruitgang!
• Sowieso is het zeer onwaarschijnlijk dat leerlingen op het s(b)o overal rood scoren. Ook op het s(b)o mogen leerkrachten er naar streven dat Welbevinden en Betrokkenheid groen of blauw zijn. Deze leerlingen volgen namelijk speciaal onderwijs, omdat ze extra ondersteuning nodig hebben om zich te kunnen ontwikkelen. Met die extra ondersteuning hoop je bepaalde minder ontwikkelde of niet aanwezige vaardigheden te compenseren.
  Verder onderscheidt ZIEN! bewust vijf vaardigheden, om te kunnen achterhalen welke onderliggende vaardigheid eventueel extra aandacht behoeft. Een kind dat heel impulsief is, zal laag scoren op Impulsbeheersing. Mogelijk ook op Sociale Flexibiliteit en Betrokkenheid. Maar Sociaal Initiatief kan juist heel goed zijn. En over Sociale autonomie hoeft het niets te zeggen.

6 juli 2010