Verslag “Helpen onderwijsevaluaties mee aan de kwaliteitscultuur?” d.d. 14 maart 2019

Door: Lothar Kuijper en Danny Scholten (BETA)

Inleiding

Onderwijsevaluaties zijn niet meer weg te denken uit de dagelijkse onderwijspraktijk. Deze dienen als tools om de kwaliteit van het onderwijs te borgen. Maar bereiken ze wel hun doe? Helpen ze bij het tot stand brengen van een kwaliteitscultuur?  Met een opkomst van zo’n 30 mensen was deze bijeenkomst een succes te noemen. Studenten, docenten en beleidsmakers ging op een constructieve manier met elkaar in discussie over het gebruik van onderwijsevaluaties op de VU en hebben een aantal aanbevelingen voor verbetering voorgesteld die we in dit verslag hebben samengevat.

Programma:

• Overzicht van de doelen en praktijk van VU onderwijsevaluaties – door Hester Glasbeek – bekijk presentatieslides
• Mentimeter stellingen over verschillende aspecten van evaluaties, als voorbereiding op de discussie – door Danny Scholten
• In groepen van 5-6 mensen werd gediscussieerd door studenten, docenten en beleidsmakers over de verschillende stellingen en zij deden aanbevelingen ter verbetering
• Plenair werden de bevindingen uit de groepen gerapporteerd en bediscussieerd o.l.v. Lothar Kuijper en Hans van Hout

Belangrijkste bevindingen en aanbevelingen n.a.v. de discussie uitgesplitst per thema

1. Doelmatigheid

Stelling: “Met de huidige evaluatiesystematiek wordt de juiste informatie ten behoeve van onderwijskwaliteit opgehaald”.

Men is het erover eens dat met de huidige evaluatiesystematiek op zich goede informatie t.b.v. onderwijskwaliteit wordt opgehaald. Deze is echter niet volledig. Het is meer een quickscan/thermometer van het vak. Er is namelijk geen verband tussen studenttevredenheid en leerrendement (Uttl et al., 2017). Hans van Hout merkt op dat het raar zou zijn als er wel een verband tussen zou worden gevonden. Natuurlijk helpt motivatie bij het leren, maar als studenten door de bank genomen niet heel enthousiast zijn over een vak wil dat niet zeggen dat ze er niet veel van geleerd hebben.

Aanbevelingen

• Docenten zouden gerichte vragen moeten toevoegen om meer relevante informatie te verkrijgen uit de standaardevaluatie. Deze optie is er al een hele tijd, maar dit zou beter onder de aandacht van docenten gebracht mogen worden
• Biedt docenten meer aanvullende mogelijkheden voor vakevaluatie en/of breng deze gerichter onder de aandacht om zodoende meer informatie over de kwaliteit van het onderwijs naar boven te krijgen
• Behandel VU onderwijsevaluaties meer als een thermometer/quick scan van een vak en niet als algehele graadmeter voor de kwaliteit ervan

2. Effectiviteit

Stelling: “Onderwijsevaluaties worden voldoende serieus genomen”

Er wordt genoemd dat vooral studenten de evaluaties niet serieus nemen. Het is in veel gevallen niet veilig om een evaluatierapport zomaar openbaar inzichtelijk te maken vanwege de toon van veel studenten in hun geschreven feedback. We vinden het misschien te vanzelfsprekend dat zowel studenten als docenten weten hoe ze moeten evalueren/feedback geven.

Aanbevelingen

• Geef als docent aan het begin van je vak aan wat je met de evaluatie van vorig jaar hebt gedaan
• De VU evaluatie zou alleen als quickscan moet worden gezien, om snel te kunnen zien wat er goed gaat en wat er beter kan
• Gebruik andere (persoonlijke) evaluatiemethoden naast de VU evaluatie. Hierbij valt te denken aan “pizza en cola”-sessies waarbij in een informele sfeer de opleidingsonderdelen kunnen worden geëvalueerd
• Geef in de BKO meer gerichte aandacht aan hoe je je onderwijs effectief kunt evalueren, en welke methoden je kunt gebruiken naast de VU evaluatie
• Koppel het aanleren van de (academische) vaardigheid “feedback geven” concreet aan het invullen van onderwijsevaluaties. Leer daarbij studenten beter hoe ze feedback moeten geven (“hoe kan ik als student op een effectieve/constructieve manier aangeven wat er goed gaat en wat er beter kan?”)

3. Evaluatiemoeheid en Representativiteit

Stelling: “De VU stimuleert studenten in voldoende mate om deel te nemen aan evaluaties”

Stelling: “De representativiteit van evaluaties wordt voldoende meegenomen bij de interpretatie ervan”

Men vroeg zich wel af of het stimuleren van het invullen van onderwijsevaluaties een effect heeft op de evaluatiemoeheid zelf. Het feit blijft dat nog steeds een veelheid aan evaluaties wordt aangeboden. Wel is duidelijk dat stimuleren door bijv. de docent daadwerkelijk een effect kan hebben. Ook vroeg men zich af of evaluatiemoeheid wel zo’n groot probleem is zoals vaak wordt voorgesteld. Uiteraard is dit eerder een probleem voor gesloten vragen dan bij open vragen.

Representativiteit wordt vaak gelijkgesteld aan het aantal respondenten. Echter, uit onderzoek van SOZ blijkt dat er geen correlatie is tussen het aantal respondenten en hoe positief of negatief studenten zich uitlaten over een vak. Dus een laag aantal respondenten is niet per definitie een probleem. Je kunt alsnog hele rijke feedback krijgen uit een evaluatie met weinig maar wel gemotiveerde studenten. Het is belangrijk te weten dat een student eerder geneigd is aan een evaluatie mee te doen als hij/zij een goede binding heeft met de opleiding en het vak.

Aanbevelingen

• Het belang van onderwijsevaluaties moet uitgedragen worden door alle gremia, inclusief opleidingscommissies en opleidingsdirecteuren, zowel richting studenten als docenten
• Stimuleer studenten persoonlijk (bijv. vanuit docent) om de respons op de standaard VU evaluatie te verhogen
• Rooster tijd in om de VU evaluatie in te laten vullen als onderdeel van het betreffende vak, bijv. direct na het laatste college
• Behandel alle feedback als waardevol, ook al is het aantal respondenten bij een evaluatie laag.
• Focus niet alleen op het verbeteren van evaluatie-vragenlijsten, maar juist ook op activiteiten die de binding van de student met het vak en/of docent verbeteren, bijv. door persoonlijker te evalueren en daar al tijdens het vak aandacht aan te besteden
• Gebruik alternatieve evaluatiemethodes naast de standaard VU evaluaties, zoals tussentijdse mentimeter, en panel gesprekken/focus groepen. Bij de laatstgenoemde kan het voordelig zijn om studenten met lage- en hoge cijfers te combineren. Zo’n gesprek kan ook met de docent, zodat studenten zich serieus genomen voelen. Dit vereist wel een open houding van de docent

Opmerking: “KORTERE VRAGENLIJST HEEFT GEEN EFFECT OP RESPONS?” Dat zei de vrouw van groep 3. Is dat echt zo, of alleen een vermoeden? Wellicht even navragen bij SOZ.

4. Beoordelingsinstrument

Stelling: “De huidige evaluatiesystematiek creëert een onveilige omgeving voor docenten”

Of de evaluaties een onveilige omgeving voor docenten creëeren is vooral afhankelijk van hoe leidinggevenden/opleidingsdirecteuren hiermee omgaan. Men zou nooit mogen worden afgerekend op een daling van kwantitatieve metrics in een evaluatie of op onderwijsevaluaties überhaupt. Docenten zien niet altijd de evaluaties over henzelf. Dit komt omdat alleen de cursuscoördinator toegang heeft tot de evaluatieresultaten.

Aanbevelingen

• Gebruik onderwijsevaluaties alleen als aanleiding voor een gesprek. Reken docenten er niet op af, maar trek het breder door de docentcontext erbij in ogenschouw te nemen. Er is namelijk geen verband tussen studentevaluaties en hoeveel studenten daadwerkelijk leren in het vak
• Ga voorzichtig om met onderwijsevaluaties en maak deze niet zomaar openbaar, gezien de toon van sommige studentreacties
• Ondanks dat de anonimiteit van de standaard VU evaluaties scheldpartijen in de hand kan werken, wordt aanbevolen deze anonimiteit te borgen, aangezien dit voor studenten belangrijk is (veiligheid)
• Gebruik niet alleen het jaargesprek om het functioneren van een docent te praten m.b.v. onderwijs(evaluaties), maar doe dat doorlopend. Dit is een voorwaarde voor het creëren van een kwaliteitscultuur
• Breng cursuscoördinatoren actief op de hoogte van het feit dat zij de enige zijn die de evaluatieresultaten van het betreffende vak kunnen zien. Zij moeten deze zelf doorsturen naar hun mededocenten van het vak

5. Onderwijsinnovatie

Stelling: “Evaluaties werpen een drempel op voor het ondernemen van onderwijs-innovaties door docenten”.

Hierbij wordt opgemerkt dat evaluaties juist ook kunnen leiden tot onderwijsinnovaties. Bijvoorbeeld als blijkt dat bepaalde zaken niet goed gaan in een vak. Men vindt het belangrijk dat een docent tijd krijgt om goed te evalueren en te innoveren.

Aanbevelingen

• Gebruik onderwijsevaluaties juist als tool om onderwijsinnovaties specifiek te evalueren
• Geef docenten de tijd om hun vak te evalueren en beschouw dit als een belangrijke taak van een docent en regulier onderdeel van een vak
• Geef docenten meer tijd om hun onderwijs te innoveren. Geef ze daarin de ruimte om risico’s te nemen en reken ze er niet op af als de onderwijsevaluatie (tijdelijk) negatiever uitvalt
• Maak gebruik van extra tussentijdse evaluaties om een onderwijsinnovatie te monitoren en waar nodig bij te sturen. Gebruik vooral ook persoonlijke manieren van evaluatie en niet alleen de VU evaluatie

Algemene conclusie

De hele bijeenkomst beschouwende, was iedereen het erover eens dat VU onderwijsevaluaties nuttig zijn en zeker in stand moeten worden gehouden. Alleen als eerdergenoemde aanbevelingen m.b.t. doelmatigheid, effectiviteit, representativiteit, beoordelingsinstrument en onderwijsinnovatie ter harte worden genomen door de verschillende gremia binnen de VU, zal dit er voor zorgen dat onderwijsevaluaties daadwerkelijk bijdragen aan een kwaliteitscultuur.