Hoe zijn de beoordelingstaken ontwikkeld?
Voor het onderzoek naar het kunnen toetsen en meten van 21st century skills, gebruiken Griffin en Care diverse online beoordelingstaken, zoals Laughing Clowns. Zie de video hieronder voor een impressie. Engelse ondertiteling is beschikbaar via het icoontje rechtsonder.
De oorspronkelijke ideeën van deze beoordelingstaken komen van testontwikkelaars, bestaande items en leerkrachten. De ontwikkelingsfase van de beoordelingstaken bestaat uit vier stappen:
De oorspronkelijke ideeën van deze beoordelingstaken komen van testontwikkelaars, bestaande items en leerkrachten. De ontwikkelingsfase van de beoordelingstaken bestaat uit vier stappen:
- Conceptcontrole;
- Cognitief laboratorium;
- Pilot;
- Veldexperimenten.
Ad 1. Conceptcontrole
De conceptcontrole wordt door leerkrachten uitgevoerd. Zij hebben de specifieke opdracht om er voor te zorgen dat de beoordelingstaak relevant is en teruggrijpt op concepten die in het onderwijscurriculum behandeld worden. De leerkrachten beoordelen dit aan de hand van specifieke vragen:
Het is belangrijk om te benadrukken dat het doel van de beoordelingstaken is om leerlingen te stimuleren samen te werken bij vaag geformuleerde problemen. Het gaat dus niet om het daadwerkelijk succesvol kunnen oplossen van het probleem zelf.
De beoordelingstaken moeten oplopen in moeilijkheidsgraad en inzicht geven in de zone van de naaste ontwikkeling waarin de deelnemers zich bevinden op het gebied van gezamenlijk problemen oplossen. Kortom, het moet niet per se mogelijk zijn dat alle leerlingen alle beoordelingstaken op een goede manier afronden!
Ad 2. Cognitief laboratorium
De volgende ontwikkelfase is om de beoordelingstaken te laten testen in een cognitief laboratorium door een selectie van deelnemers van de uiteindelijke doelgroep. Hierbij werken deelnemers individueel aan de beoordelingstaken terwijl een onderzoeker nauwkeurig observeert en gerichte vragen stelt om het denkpatroon van de deelnemer te achterhalen.
Het doel van dit cognitief laboratorium is enerzijds om te bepalen dat de beoordelingstaken de juiste vaardigheden aanroept bij de deelnemers. En anderzijds om mogelijke codeercategorieëen te bepalen voor de uiteindelijke data-analyse.
Na afloop van deze sessie gaan onderzoekers in gesprek met de deelnemers om te evalueren en om eventuele verbeteringen door te voeren aan de beoordelingstaken.
Ad 3. Pilot
Op kleine schaal worden de beoordelingstaken voorgelegd aan leerlingen uit de doelgroep en de metingen worden nauwkeurig geanalyseerd. Belangrijke criteria die de pilot moet bevestigen:
Conclusie
Als onderdeel van de ontwerpcyclus op de beoordelingstaken kregen de onderzoekers feedback van zowel leerkrachten als studenten. Deze feedback richtte zich voornamelijk op twee dingen:
- Zetten de taken leerlingen aan het werk?
- Zijn de taken geschikt qua beginsituatie?
- Zijn de taken geschikt qua sociaal-culturele context?
- Zijn de taken vergelijkbaar qua tijdsinvestering?
- Differentiëren de taken tussen leerlingen?
Het is belangrijk om te benadrukken dat het doel van de beoordelingstaken is om leerlingen te stimuleren samen te werken bij vaag geformuleerde problemen. Het gaat dus niet om het daadwerkelijk succesvol kunnen oplossen van het probleem zelf.
De beoordelingstaken moeten oplopen in moeilijkheidsgraad en inzicht geven in de zone van de naaste ontwikkeling waarin de deelnemers zich bevinden op het gebied van gezamenlijk problemen oplossen. Kortom, het moet niet per se mogelijk zijn dat alle leerlingen alle beoordelingstaken op een goede manier afronden!
Ad 2. Cognitief laboratorium
De volgende ontwikkelfase is om de beoordelingstaken te laten testen in een cognitief laboratorium door een selectie van deelnemers van de uiteindelijke doelgroep. Hierbij werken deelnemers individueel aan de beoordelingstaken terwijl een onderzoeker nauwkeurig observeert en gerichte vragen stelt om het denkpatroon van de deelnemer te achterhalen.
Het doel van dit cognitief laboratorium is enerzijds om te bepalen dat de beoordelingstaken de juiste vaardigheden aanroept bij de deelnemers. En anderzijds om mogelijke codeercategorieëen te bepalen voor de uiteindelijke data-analyse.
Na afloop van deze sessie gaan onderzoekers in gesprek met de deelnemers om te evalueren en om eventuele verbeteringen door te voeren aan de beoordelingstaken.
Ad 3. Pilot
Op kleine schaal worden de beoordelingstaken voorgelegd aan leerlingen uit de doelgroep en de metingen worden nauwkeurig geanalyseerd. Belangrijke criteria die de pilot moet bevestigen:
- De beoordelingstaken sluiten aan bij de beginsituatie van de deelnemers.
- De beoordelingstaken maken onderscheid tussen deelnemers.
- Het ontwikkelingsframework waarop de bevindingen worden geïnterpreteerd klopt.
- Er zijn geen (technische) beperkingen om het veldexperiment te starten.
Ad 4. Veldexperimenten
De voorbereiding is klaar en het daadwerkelijke onderzoek kan starten. Nu is het zaak om voldoende deelnemers te krijgen om representatieve uitspraken te kunnen doen over de verzamelde resultaten. Scholen worden benaderd en het onderzoek wordt gestart.
Conclusie
Als onderdeel van de ontwerpcyclus op de beoordelingstaken kregen de onderzoekers feedback van zowel leerkrachten als studenten. Deze feedback richtte zich voornamelijk op twee dingen:
- De beoordelingstaken zijn soms best onduidelijk/vaag geformuleerd.
- Sommige beoordelingstaken zijn eigenlijk veel te moeilijk om op te kunnen lossen.
Wat mij hieraan opvalt is dat we enerzijds in het onderwijs blijkbaar heel gewend zijn om opdrachten zodanig voor te kauwen, dat alles heel erg nauwkeurig is beschreven. Daardoor valt het ineens op als de opdrachten wat meer open/onduidelijk zijn. Maar hoe vaak komen we in het echte leven die prachtige uitgedachte problemen tegen? Volgens mij is het juist belangrijk om in het onderwijs ook voldoende ruimte te geven voor onduidelijke problemen, waarin leerlingen leren om te zoeken naar de probleemruimte en deze te definiëren.
Anderzijds is het onderwijs zodanig resultaatgericht (rendementsdenken) dat leerkrachten en leerlingen alleen op het eindproduct gefocust zijn. Wat zou er nodig zijn om meer en meer te gaan kijken naar het (denk)proces, want dat is volgens mij waar het echte leren plaatsvindt!
Geen opmerkingen:
Een reactie posten