De grootste valkuil

Wat ik zo leuk aan de bijdrage van Verhulst en Lamberts vind, is dat zij duidelijk maken dat methoden eigenlijk verschillende invalshoeken op de wereld zijn. Als je dus niks of weinig van een object van onderzoek weet, dan zou je dus net als iedere kleuter gewoon verschillende dingen kunnen uitproberen: porren met je vinger, schuiven met je schoen, een stokje gebruiken om door te prikken, een plas water erover gooien, enzovoort, alles geeft informatie over de bol, kat, tor of drol. Dat is ook precies wat de kleuters onder de wetenschappers doen: ver weg in den vreemde droomt de etnograaf aan de hand van loeren en ouwehoeren (Kruijer, 1968, Observeren en redeneren; de klankrijm in de titel is van Abraham de Swaan, dacht ik), dan wel elke andere methode die maar beschikbaar is, een andere wereld bij elkaar.
Leerboeken in de methodologie, waarin de basis en beperkingen van methoden aan de orde komen (Denzin, 1978; Deutscher, 1973; Vercruijsse, 1966), zijn niet meer zo in. Het moet allemaal praktischer, je moet het meteen kunnen toepassen, methodologie verandert in het toepassen van instrumenten. Maar een instrument is iets bijzonders: het geeft een blik op de wereld op grond van een geheel aan geformaliseerde kennis, het gebruik van een instrument is waarnemen in een context (De Groot, 1968). Met een elektronenmicroscoop is het moeilijk de krant te lezen, evenals met de bloeddrukmeter. Met interviewen en groepsgesprekken krijgen we gepraat, geen luchtdruk, hersengolven of stemgedrag. Hier zit de valkuil, je krijgt altijd wat, of je nou observeert, interviewt, ‘focusgroept’, enquêteert, participeert, afluistert of inbreekt op de e-mail, maar wat zegt dat over je onderzoeksprobleem, in dit geval het te ontwerpen zelfevaluatie-instrument? Voor interviewen en groepsgesprekken geldt dit des te sterker: je krijgt altijd wat.
Als ik even terugga naar de evaluaties van wetenschappelijke instellingen: de zelfevaluatie vindt plaats op groeps- of organisatieniveau, de informatie wordt verzameld op individueel, groeps- en organisatieniveau, en de kenniscontext van de informatie (wat wordt gevraagd en bedoeld, wat het betekent) komt van elders. De docenten moeten worden geïnstrueerd om van werk informatie te maken, de opleiding moet worden geleerd om die gegevens in de juiste context te presenteren, en de evaluerende instantie moet leren om variaties als verschillen te duiden. Je kunt iedereen ergens in dat hele proces interviewen, maar het scheelt nogal of gevraagd wordt naar wat iemand weet, vindt of doet, en ook in hoeverre deze thuis is in de kenniscontext waarin die informatie betekenis krijgt. Kortom: interviewen is in deze context gewoonlijk een sprong in het duister, bij groepsgesprekken is er wellicht iemand die denkt te begrijpen waar het om gaat en die de anderen op niveau brengt, maar net zo goed loopt het uit in een Babylonische spraakverwarring.

Instrument ontwikkelen of gebruik toetsen

Het doel is duidelijk genoemd: een instrument ontwikkelen zodat een zelfstandige diëtist haar of zijn eigen praktijkvoering kan toetsen. Maar is dat wel zo duidelijk? Uit de rest van deze bijdrage krijg ik de indruk dat de inhoud van het instrument nog moet worden geconstrueerd (wat moet allemaal aan de orde komen?), eerder dan dat het gebruik van het instrument wordt getoetst (hoe wordt dat door iedereen toegepast en wat komt eruit: zijn variaties wel relevante verschillen?).
Hierboven heb ik gesteld dat op verschillende niveaus individuen en groepen moeten worden geïnstrueerd alvorens zij zinnige gegevens kunnen aanleveren. Dat geldt hier voor de diëtisten net zo goed. Als de beroepsgroep eigenlijk helemaal niet zo bekend is met wat in de evaluaties aan de orde komt, waarom iets gevraagd wordt en wat dat betekent, dan zal in de waarneming deze situatiedefinitie door het individu dan wel in de focusgroep, al dan niet expliciet, op een of andere manier worden ingevuld. Het waarnemen krijgt dan een nogal toevallig karakter, wat ook uit de uitkomst blijkt: de helft van wat in het interview was besproken, keert ongeveer in het groepsgesprek terug (hetgeen nog redelijk veel is als je bedenkt dat in een groep van vier ieder een kans van een vierde heeft om iets naar voren te brengen uit het eigen interview). Dat hoeft nog niet per se aan de respondenten te liggen, het interview kan meer of minder sterk door de interviewer worden gestuurd, het groepsgesprek door de gespreksleider worden gestructureerd. Kortom, ik heb de indruk gekregen dat het gaat om een exploratieve fase, waarin de onderzoekers op zoek zijn om voor de meer abstracte competentiedomeinen indicatoren te formuleren die dat domein in het uit te werken instrument moeten dekken.
Als het instrument dan eenmaal uitgewerkt is, zou een apart onderzoek naar het gebruik van het instrument moeten worden opgezet. Dat zou in ieder geval het invullen van het instrument moeten inhouden, de ervaringen van gebruikers bij het invullen, zeg maar aan de hand van het ingevulde formulier, waarbij ook focusgroepen kunnen worden gebruikt om sommige problemen uit te diepen, en de ingevulde formulieren moeten worden beoordeeld op wat het oplevert. Maar zover is het nog niet, begrijp ik.

Hoe tegen de resultaten aan kijken?

In zo’n exploratieve fase van instrumentontwikkeling doet het er weinig toe of je bij iedereen op dezelfde manier te werk gaat, het is belangrijker dat je door vergelijking van zeer verschillende gevallen zicht krijgt op wat modaal en algemeen is en welke variaties en bijzondere situaties kunnen voorkomen. Uit het verslag van Verhulst en Lamberts blijkt dat er interviews en focusgroepen zijn gecombineerd om een eerste versie van de indicatorenlijst te verbeteren. Ik ga ervan uit dat er meerdere interviews zijn gedaan en ook meerdere focusgroepgesprekken zijn gevoerd. Dat lijkt mij voor de exploratieve fase prima, als bij de samenstelling van de steekproef ook rekening is gehouden met de variatie in beroepsbeoefenaren. De conclusie dat beide werkwijzen hebben bijgedragen aan het aftoetsen van de competentielijst zal dan ook wel juist zijn.
Zegt dit onderzoek eigenlijk wel iets over het verschil tussen interviewen en focusgroepen?
Ik heb niet de indruk dat de interviewers en de gespreksleider specifiek zijn geïnstrueerd om een dergelijke vergelijking mogelijk te maken. De interviews hebben meer gedetailleerde informatie opgeleverd (over de situatie van deze ene respondent) en de focusgroep was nuttig om de discussie te verruimen; ik lees dat als het aan bod komen van variatie rond een (aspect van een) indicator. Dat verschil zou ook door de doorvraagtechniek of topiclijst van de interviewer of gespreksleider kunnen zijn geproduceerd.
Ik lees de bijdrage van Verhulst en Lamberts dan ook meer als een aanbeveling voor de exploratieve fase van een onderzoek. Gebruik interviews om uit te diepen over de persoonlijke situatie en groepsgesprekken om overzicht, breedte en relevantie boven water te krijgen. Je zou dat als een algemene praktische aanbeveling voor de beginfase van een onderzoek kunnen zien. Blijft de vraag over of je nou eerst moet interviewen of eerst groepsgesprekken moet houden. Of zou je gewoon nu en dan eens moeten switchen, en vergeet daarbij ook niet de literatuurstudie mee te nemen! Porren met de vinger, schuiven met de schoen, prikken met een stokje, een plas water eroverheen: afwisselen is altijd goed.

© 2009-2018 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.