Zijn smile sheets waardeloos?

will-thalheimer

De sessie die als eerste in mijn balboekje van ATD stond, was die van dr. Will Thalheimer over Smile Sheets. Dit zijn de evaluatieformulieren die deelnemers aan het einde of vlak na de opleiding invullen over wat ze van de training vonden. Smile sheets zijn het eerste en gekende niveau van evalueren binnen het model van Kirkpatrick dat in totaal uit 4 of 5 bestaat. In vele organisaties is dit trouwens de enige manier waarop opleidingen geëvalueerd worden.

In zijn presentatie legt Thalheimer vooral uit waarom de meeste Smile Sheets zoals ze vandaag bestaan, ronduit waardeloos zijn. Hij beweert dat deze boude uitspraak volledig gebaseerd is op wetenschappelijk onderzoek. Wat maakt dat ze waardeloos zijn?

1. Er is geen correlatie tussen de resultaten op een smile sheet en de effectiviteit van een opleiding.

Volgens Thalheimer heeft geen enkel onderzoek een correlatie gevonden tussen de reactie van de deelnemers op de training en de resultaten van de trainer. En dit in geen enkele richting. De scores op een evaluatieformulier doen met andere woorden geen enkele betrouwbare voorspelling of de deelnemers ook daadwerkelijk iets geleerd hebben. Goede scores op een evaluatieformulier biedt met andere woorden geen garantie op daadwerkelijke resultaten en slechte scores zijn niet noodzakelijk voorbodes van slechte resultaten. Er is geen enkel betrouwbaar statistisch verband tussen de reactiescores en de leerresultaten.

2. Mensen hebben de neiging verkeerd in te schatten wat ze daadwerkelijk geleerd hebben.

De meeste mensen hebben zelfs de neiging om zichzelf te overschatten als het op leren aankomt. Dit is een probleem voor de smile sheets omdat deze vaak vragen aan deelnemers wat ze geleerd hebben. Bovendien wordt hen dit gevraagd op een moment dat ze pas kennis hebben gemaakt met de nieuwe vaardigheden/kennis. Het is bijna per definitie onmogelijk dat ze op dat ogenblik deze nieuwe vaardigheden of kennis al daadwerkelijk verworven hebben.

3. Smile sheets gebruiken de ongeschikte Likert-schaal

We kennen ze allemaal: de schalen van de evaluatieformulieren. Geef een score van 1 tot 5 waarbij 1 staat voor ‘helemaal niet akkoord’ en de hoogste score voor ‘volledig akkoord’. Daar tussenin liggen dan vage omschrijvingen zoals ‘eerder akkoord’ en ‘eerder niet akkoord’. Deze vage beschrijvingen verwarren vele deelnemers als ze er echt over nadenken waardoor ze niet noodzakelijk behulpzame feedback bezorgen. Het grootste probleem van de Likert-schalen vindt Thalheimer echter dat we deze beoordelingen vertalen naar cijfers en gemiddelden en dat L&D deze cijfers gebruikt om te communiceren over hun inspanningen.

‘Onze opleidingen scoren een gemiddelde van 3,7/5’ … Wat wil dat in hemelsnaam zeggen? En is dat een goede score of niet? Waarom is 4/5 acceptabel en 3,9 niet? Cijfers zijn ook alleen maar bruikbaar als je ze vergelijkt met iets anders. En waarmee vergelijken wij deze cijfers? Dit soort cijfers geven ook weinig nuttige feedback over wat er moet veranderen aan de trainingprogramma’s.

4. De timing van smile sheets is verkeerd

Deelnemers die een training evalueren – zo wijst wetenschappelijk onderzoek uit- , denken daarbij vaak alleen aan het meest recente dat ze geleerd hebben. Als je dus bijvoorbeeld een driedaagse opleiding op het einde van dag 3 evalueert, denken deelnemers automatisch enkel aan wat ze in dag 3 hebben behandeld en geleerd. Dit is zeker het geval als de dagen dan nog eens gespreid in de tijd zijn.  Opnieuw geven deze smile sheets ons dus slechte en onvolledige feedback.

Eén van de thema’s die op mijn to-dolijstje staat om met de community aan te werken, is de smilesheets. Dus dat heb je nog te goed.

De onderzoeken die deze uitspraken staven, vind je in Performance-Focused Smile Sheets – A Radical Rethinking of an Dangerous Art Form. ‘978-1-941577-02-8’ van Will Thalheimer.

Kom er bij, er is nog plaats op de bank

Word lid, het is gratis

Benchmark-2

  • Stel je vragen en deel je ervaringen over verschillende onderwerpen in het forum.
  • Doe mee aan de uitdaging van de maand.
  • Krijg toegang aan een grotere waaier aan interessante instrumenten.
  • Blijf op de hoogte via de nieuwsbrief.

2 thoughts on “Zijn smile sheets waardeloos?

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *