Woensdag 7 mei volgde ik een webinar over online essays beoordelen van Surf Academy. Doel van de webinar was vooral om inzicht te geven in het snel en goed feedback geven op papers en verslagen.  Slimme digitale tools zoals Turnitin zouden de uitkomst moeten zijn. Turnitin is een online webtool waarmee docenten veel gebruikte feedback kunnen opslaan en later kunnen hergebruiken. Dit kan tijd besparen. En door de opgeslagen feedback te delen met een docententeam kan de consistentie, en daarmee ook de kwaliteit van het beoordelingsproces worden verhoogd. Zeker in combinatie met rubrics.

Aanleiding 
Docenten lopen regelmatig aan tegen het feit dat ze veel verslagen moeten beoordelen. Natuurlijk hoort dat bij het werk van de docent. Wanneer verslagen beoordeeld worden, is het voor studenten juist fijn om goede feedback te krijgen, die inzicht geeft in de wijze waarop ze hun verslag hebben aangeleverd. Enerzijds is het dan fijn om persoonlijke feedback te krijgen, volledig toegespitst op de situatie (/het verslag) van de individuele student. Anderzijds kan die volledig gepersonaliseerde feedback ervoor zorgen dat je als docent jezelf gaat richten op details en wellicht een aantal hoofdlijnen vergeet. Het kan dan zijn dat studenten feedback op een bepaalde manier interpreteren en wanneer ze met elkaar over de ontvangen feedback spreken, kan het leiden tot spraakverwarring of onduidelijkheid:  “Bij mij is het als heel goed aangemerkt, bij mij is het als net voldoende aangemerkt”. Bij wie komt dat niet bekend voor? Ikzelf merk het ook weleens.

Standaardiseren vs persoonlijke feedback
Wat Turnitin biedt, is een omgeving waarin studenten hun documenten kunnen plaatsen, een soort inleverbalie. Turnitin levert meerdere functies, waaronder de mogelijkheid voor studenten om elkaar als peers feedback te geven.

De webinar richtte zich echter op het docentgedeelte, het zogenaamde ‘Grademark’. Voor docenten is het mogelijk om vooraf feedbackitems aan te maken. Deze items bevatten een titel en vervolgens feedbacktekst. Deze volledige items kunnen vanuit een kantlijn in het document van de student worden geplaatst: De student krijgt dan gestandaardiseerde feedback op de specifieke plek in zijn document. Tevens is het mogelijk om een persoonlijke comment neer te zetten: Een specifieke opmerking voor alleen de student van wie het document is (selecteer in het document een stuk tekst en dubbelklik erop).
Op de website van Turnitin is een korte demo te vinden. Zoek zelf eens uit hoe het werkt.

turnitin

Argumenten om Turnitin te gebruiken
Tijdens de webinar worden door de spreker (een docent aan één van de Nederlandse hogescholen) een aantal redenen genoemd om deze betaalde webservice te gebruiken.

  1. Feedback is herbruikbaar. Wanneer eenmaal de feedback is gemaakt en in de service is gezet, is deze in volgende jaren opnieuw bruikbaar. Tijdens langdurigere pilots is aangegeven dat docenten op termijn ervaren dat de werkdruk lager wordt.
  2. Toename kwaliteit feedback. De feedback wordt bij alle studenten gebruikt en is standaard. Studenten die hun feedback met anderen vergelijken, zien dezelfde feedback terug. Tevens kan de feedback worden gebruikt door verschillende docenten onderling. De beoordeling is daarmee wel van de docent afhankelijk, maar er wordt consequenter beoordeeld, omdat iedereen dezelfde feedback gebruikt. Hier zie ik een mooi aanknopingspunt om binnen docententeams binnen de HZ calibratiesessies ten aanzien van afstudeeronderzoek verder uit te werken en studenten nog explicieter te laten zien dat beoordelingen zoveel als mogelijk op zelfde wijze worden gemaakt.
  3. Betere signalering van fouten en (daarmee) hulp voor nieuwe docenten.  Er kan een duidelijk overzicht worden gemaakt van fouten die studenten maken. Doordat de feedback eensluidend is, kan goed worden gezien op welke onderdelen studenten de feedback krijgen. Aanvullend geeft dat inzicht in welke instructie nogmaals (en wellicht op andere wijze) gegeven kan worden. Ook voor nieuwe docenten is dit handig. Als nieuwkomer kan ik me voorstellen dat je soms wel kennis van zaken hebt, kennis van de stof, maar soms niet goed in de gaten hebt waar studenten hun fouten maken, of hoe bepaalde denkpatronen zijn ontstaan. De feedback die door langer zittende docenten is gemaakt, kan hierin al inzicht worden gegeven.

Levert het echt tijd en kwaliteit op?
De spreker geeft aan dat dit op termijn tijd oplevert. Natuurlijk moet er wel werk vooraf worden gedaan en ook dat kost tijd. Het is mooi als docenten gezamenlijk de feedback ontwikkelen: Je praat vooraf over wat van belang is en ook over hoe je gezamenlijk kunt beoordelen, dit zorgt voor de eerder genoemde kwaliteit en consistentie in beoordeling. Het is dus wel van belang om te investeren in ontwikkelingstijd. Ontwikkelen kun je echter doen op ‘rustigere’ momenten (kennen we die in het onderwijs 🙂 )? Je verschuift daarmee eigenlijk je tijd, weten immers allemaal dat in toetsweken behoorlijk wat overuren worden gemaakt door het vele intensieve beoordelen.
Juist ook voor de nieuwe docenten levert dit tijd op. Docenten die nieuw zijn binnen een instelling, of nieuw zijn binnen een onderwijseenheid, hebben vaak al behoorlijk wat tijd nodig voor het voorbereiden van hun colleges en de tussentijdse gesprekken met studenten. Het is dan handig als je als nieuwe docent bij beoordelingen kunt terugvallen op de feedback die de ‘langer zittenden’ hebben gemaakt…voor zichzelf  en voor jou als nieuwkomer. Feedback die jouzelf ook weer andere inzichten kan geven in de stof.

Natuurlijk is dit niet specifiek voor Turnitin. Toen ik  voor het eerst experimenteerde met Edmodo, ervaarde ik deze verschuiving en het opbouwen van een ‘feedback-itembank’ ook al. De winst van Turnitin is volgens mij vooral de eenvoudige drag & drop-mogelijkheid van de feedback op een specifieke plaats in het document.

Wat cijfers uit onderzoeken/experimenten met Turnitin op hogescholen

  • 41% docenten ervaart tijdsbesparing, gem 25% tijdsbesparing. Dat neemt toe bij herhaald gebruik: de eerste keer is wennen, maar zodra je het onder de knie hebt, wordt het eenvoudiger.
  • 39% docenten ervaart toename in kwaliteit.
  • 71% van de studenten vond dat ze voldoende feedback kregen.
  • 82% studenten wil vaker op deze manier beoordeeld worden
  • 86% van docenten wil vaker deze manier van werken gebruiken.

 Struikelblokken
Natuurlijk is het mooi om verhalen van enthousiastelingen te horen. Verhalen van pioniers die experimenteren met deze service. En ook de early adopters zullen natuurlijk laaiend enthousiast zijn over deze service. Het roept bij mij wel de vraag op of er bij andere groepen docenten struikelblokken zijn. De spreker beantwoord mijn vraag en geeft aan dat hij in de afgelopen jaren twee struikelblokken heeft ervaren:

  1. Lezen van het scherm. Er zullen ongetwijfeld mensen zijn die aangeven dat ze liever niet lezen van het scherm en alles liever op papier doen. Lijkt me goed om daarmee rekening te houden.
  2. Het vastzitten in het keurslijf van feedback. Er zullen mensen zijn die zullen aangeven dat ze niet ‘alle studenten over één kam willen scheren’. Mensen die ‘geloven in persoonlijke feedback’. De spreker geeft aan dat dit kan worden ondervangen door de persoonlijke comments (zie eerder in dit artikel).

Over dat keurslijf
Er wordt naar mijn mening snel aangegeven dat de persoonlijke feedback ondervangen kan worden door persoonlijke comments. Waarom geloven die m9200000002281137ensen in persoonlijke comments. Ik denk dat dit ook te maken heeft met de aard van de ingeleverde opdracht en vanuit welke functie van het onderwijs deze opdracht is gemaakt. In mijn eerdere artikel ‘Over verstandigheid, creativiteit en toetsen‘ verwees ik al eens naar het boek Goed onderwijs en de cultuur van het meten, van Gert Biesta (2012). Hij onderscheidt daarin drie functies van onderwijs. Zoals ik nu kan overzien, denk ik dat services als Turnitin vooral erg handig zijn bij opdrachten die te maken hebben met de kwalificatiefunctie van het onderwijs, verslagen die ‘redelijk objectief’ kunnen worden beoordeeld. Voor bijvoorbeeld reflectieverslagen van studenten zie ik dat nu minder voor me. Ik ga er nu niet dieper op in, wellicht kom ik daar later op terug. Reageren op deze mening mag natuurlijk altijd. 

Tot slot
Al met al ben ikzelf toch redelijk nieuwsgierig geworden naar de werking en mogelijkheden van deze service. Nu maar eens zien of er collega’s met mij willen pionieren.

Advertenties

Over Riaan Lous

@riaanlous is ecologisch pedagoog en werkt bij HZ University of applied science. Hij is daar onderwijsadviseur en -ondersteuner bij de Delta Academy, Academie voor Technologie & Innovatie en docent aan de pabo.

»

  1. willevertse schreef:

    Hé Riaan,

    Ik ben wel erg benieuwd hoe het je bevalt na verloop wantij. Ik kan me nog niet een voorstelling maken van hoe dit eruit ziet voor onze studenten die toch vooral alles heel individueel doen…….

    Zou het wat voor mij zijn?

    • Riaan Lous schreef:

      Hoi Willeke,
      een goeie vraag waarop ik het antwoord ook niet heb. Ik ben op dit moment even uitgegaan van de docentkant van deze services, namelijk het daadwerkelijke beoordelen. Jouw vraag helpt in die zin, dat wanneer ik zou willen gaan experimenteren, ik juist ook zou moeten gaan kijken naar de waarde van de feedback die studenten elkaar geven. Het zou vervolgens ook mooi zijn om te kijken of juist die peerfeedbackmodule zou kunnen bijdragen aan andere onderwijsfuncties die Biesta noemt, bedenk ik me nu.
      Volgens mij heeft de HU overigens deelgenomen aan een of meer pilots die te maken hebben met het online beoordelen van essays, zag ik op http://www.studiesuccesho.nl/2014/04/21/werkdruk-docenten-beheersbaar-door-digitale-beoordeling-en-feedback/

  2. willevertse schreef:

    Oké, interessant. Beoordelen vind ik nou niet bepaald het leukste onderdeel van mijn werk. Toch is het natuurlijk wel belangrijk en moet het zorgvuldig gebeuren. Eigenlijk vind ik het ook heel belangrijk dat studenten daar zelf en naar elkaar toe een belangrijke rol in zouden moeten hebben. Daarvoor lijkt het wel een mooi middel. to be continued?

    • Riaan Lous schreef:

      Ben het met je eens dat studenten daar zelf een belangrijke rol in kunnen spelen. Dat betekent volgens mij vervolgens wel dat we als docenten van begin af aan goed tijd moeten besteden aan het studenten leren van goede feedback geven.

  3. […] Woensdag 7 mei volgde ik een webinar over online essays beoordelen van Surf Academy. Doel van de webinar was vooral om inzicht te geven in het snel en goed feedback geven op papers en verslagen. S…  […]

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s