Interpretaties zijn geen feiten, maar wel bruikbaar

Lub deelde zijn studie op in twee delen. Deel 1 is een verkenning en deel 2 een verdieping. Het eerste deel bestaat uit iets meer dan zestig pagina’s en begint met een hoofdstuk waarin Lub een aantal kwalitatieve methoden beschrijft (onder andere interviews, observatie en focusgroepen) en hun potentie voor evaluatie. In het hoofdstuk erna doet hij hetzelfde met kwalitatieve designs (onder andere narratief onderzoek, fenomenologie, grounded theory, case study en actieonderzoek) en mixed methods-onderzoek. Het eerste deel besluit met de mogelijkheden van vier onderzoeksdesigns (theory of change, realistic evaluation, intervention mapping en results accountability).

In zeer kort bestek verkent Lub de manieren waarop die verschillende methoden kunnen bijdragen aan het kritisch evalueren van interventies en daarbij behandelt hij ook nog de grenzen en valkuilen van die methoden. Interviews kunnen bijvoorbeeld worden gebruikt om informatie over gevoelens en meningen over de interventie bloot te leggen. Dat een interview geen geschikt instrument is voor een harde effectmeting wil niet zeggen dat het geen potentie heeft voor evaluatiedoeleinden, al is het bescheiden, omdat die gevoelens en meningen een negatieve impact kunnen hebben op (de effectiviteit van) een interventie. Lub wijst ook nog op de valkuil van ‘narratieve misleiding’: mensen neigen ernaar sociaal wenselijke antwoorden te geven. Daar komt bij dat respondenten lang niet altijd iets zinnigs kunnen zeggen, bijvoorbeeld als ze geen goed beeld hebben van de interventie. Het is een vereenvoudigd voorbeeld van de manier waarop Lub het terrein ontgint. Zijn scherpe analytische bespiegelingen over onderzoeksmethoden en -designs maken het boek tot een fraai en nuttig naslagwerk, zoals het ook bedoeld is.

Toch zijn enkele kritische kanttekeningen op zijn plaats. Volgens de auteur is het boek geschikt voor zowel de gevorderde (kwalitatieve) onderzoeker als voor studenten die meer willen weten over kwalitatief evalueren. Voor die eerste groep lezers kan het inderdaad een handig naslagwerk zijn. Dat de lezer enige voorkennis en affiniteit met het thema ‘onderzoeksmethodologie’ of ‘evaluatieonderzoek’ moet hebben, zoals Lub schrijft, klopt wel, want het is ‘even doorbijten’ hier en daar. Toch zal niet iedere lezer zich kunnen vinden in Lubs bewering dat weinig in het boek staat wat niet te begrijpen is voor een lezer die methodologieonderwijs heeft genoten op bachelorniveau.

Als Lub bij het beschrijven van systematic reviews zich afvraagt ‘hoe de kwalitatieve informatie te schikken valt naar de discipline van secundaire samenvattingen en syntheses’ (p. 116) dan zal menig student zich afvragen wat Lub zich nu precies afvraagt. Niet alle lezers zullen begrijpen wat ‘het toetsen van veronderstelde causale mechanismen via een eclectisch datapatroon’ (p. 71) inhoudt, en de betekenis van Lubs beknopte samenvatting van een ‘behoorlijk abstract’ artikel (p. 91) is ook moeilijk te ontsluiten. Het taalgebruik is dus nogal technisch.

Dat geldt ook voor het tweede deel van het boek. Daarin gaat Lub in iets meer dan zeventig pagina’s in op validiteitscriteria van kwalitatief onderzoek, ‘de potentie van kwalitatieve datasynthese in de zoektocht naar wat werkt’, en de verhouding van kwalitatief onderzoek met ‘causale inzichten’. Dat er pas aan het eind van het boek aandacht is voor causaliteit is vreemd, omdat begrip van causaliteit cruciaal is voor het begrijpen van de tekst. Evaluatie is er immers in principe op gericht om te achterhalen of geregistreerde veranderingen zijn toe te schrijven aan de interventie (de effectiviteit dus). Juist omdat Lub de grenzen van evalueren verkent en zelfs verschuift zou zijn kritische verheldering van wat causaliteit is goed als inleiding hebben kunnen dienen.

Lub heeft weinig pagina’s nodig om veel te beschrijven en dat is knap. Het maakt de tekst hier en daar wel erg bondig, en soms zelfs wat kort door de bocht. De dichtbeschreven pagina’s bevatten stelligheden die wel wat meer uitleg kunnen gebruiken dan Lub geeft. Een voorbeeld: Lub beweert dat het gevaar van etnografisch onderzoek is dat de onderzoeker zo vergroeit raakt met de onderzochte cultuur (going native) dat hij het vermogen verliest om de setting ‘objectief’ te analyseren. Omdat Lub het begrip ‘objectief’ niet problematiseert, lijkt het erop dat Lub denkt dat een etnograaf die niet vergroeit met de onderzochte cultuur ‘objectief’ zou kunnen zijn. Lub lijkt een positivistisch standpunt uit te dragen, maar expliceert dat niet.

Dat is jammer, maar ondanks die theoretische tekortkoming is het boek een prikkelende bijdrage aan de klassieke Methodenstreit. Het levert interessante inzichten op voor praktijkonderzoekers die, zonder dat ze kwantitatieve data kunnen verzamelen, toch willen weten of een maatregel werkt, en voor iedereen die een evaluatieonderzoek naar maatregelen kritisch wil kunnen beoordelen. Dit omdat Lub de mogelijkheden en valkuilen in kaart brengt zoals dat nog niet eerder gebeurde. Misschien zijn alleen kwantitatieve methoden geschikt om daadwerkelijk aan te tonen of iets werkt of niet, maar kwalitatieve methoden kunnen, mits zorgvuldig toegepast, wel nuttige indicaties opleveren voor werkzaamheid. Het blijven interpretaties, maar wel bruikbare.

© 2009-2021 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.