Over validering van praktijkgericht kwalitatief onderzoek; een repliek

Inleiding

Ik moet zeggen dat voor mij na tweemaal lezen van hun artikel hetzelfde geldt. Ik zou willen weten wat zij met de termen ‘praktijk’, ‘praktijkgericht onderzoek’ en ‘kwalitatief onderzoek’ precies bedoelen. Vaagheid hierover en vele andere onduidelijkheden in hun tekst (zie onder andere hierna onder nadelen en problemen) maken een repliek uitermate lastig. Ik moet het doen met wat daarover moeizaam uit de tekst valt af te leiden. Dat is dan ook wat ik hierna probeer te doen. Ik ga daarbij uit van de volgende definities:

Praktijkgericht onderzoek: Onder een praktijkgericht onderzoek versta ik hier onderzoek dat beoogt een bijdrage te leveren aan de verheldering, aanpak of oplossing van een handelingsprobleem, dan wel de evaluatie van een oplossingspoging, door middel van het leveren van hiervoor bruikbare informatie, kennis en inzichten.

Kwalitatief onderzoek: Van een kwalitatief onderzoek spreek ik hierna als de uitvoerder gebruikmaakt van een relatief klein aantal observatie-eenheden en een intensieve en kwalitatieve wijze van produceren en analyseren van onderzoeksmateriaal, en als het meer gericht is op diepgang dan op breedte.

Van beide soorten onderzoek bestaan meerdere varianten (Verschuren, 2009).

‘Relevant voor’ verschilt van ‘gericht op’

Een eerste indicatie van wat de auteurs bedoelen met een praktijkgericht onderzoek is de suggestie die uitgaat van hun vraag op pagina 5 ‘naar de aard van de praktijkgerichtheid van kwalitatief onderzoek’ in het citaat hiervoor, namelijk dat dit type onderzoek qualitate qua praktijkgericht is. Dit doet de lezer realiseren dat de auteurs niet alleen, hoe onterecht ook, weinig differentiatie aanbrengen in het domein van kwalitatief onderzoek. Ook maakt het haar of hem duidelijk dat, in tegenstelling tot wat de term praktijkgericht tot uitdrukking brengt, de laatstgenoemden dit eerder als een eigenschap van kwalitatief onderzoek zien dan als een bewuste act van de onderzoeker.

Een volgende aanwijzing voor wat is bedoeld met praktijkgericht onderzoek geven de auteurs waar ze het hebben over de onderzoeker die in een spagaat verkeert ‘(…) doordat praktijkrelevantie wordt gecombineerd met de eis van generaliseerbaarheid’ (cursiveringen van mij; PV) (Baarends & Simon, 2017, p. 5). Opmerkelijk is hier allereerst het woord praktijkrelevantie, wat niet hetzelfde is als praktijkgericht in de titel van hun bijdrage. In het eerste geval wordt gekeken of een onderzoek bijdraagt aan een of andere ‘praktijk’. Dat is wat anders dan een onderzoeker die is gericht op het leveren van een bijdrage aan de aanpak van een handelingsprobleem. Voorbeelden van dit laatste zijn beleidsproblemen van lokale, nationale en supranationale overheden zoals het fileprobleem of terrorismedreiging, en problemen van strategisch management van een organisatie zoals een verzwakte marktpositie of een haperende fusiepoging. Maar ook problemen die een professional tegenkomt bij de uitoefening van haar of zijn beroep vallen eronder, zoals een schooladviseur die via onderzoek een bijdrage wil leveren aan de problematiek van overbelaste docenten.

Dat gebruik van de term ‘praktijkrelevantie’ in het citaat hierboven geen toevalligheid is, blijkt onder andere uit het belang van generaliseerbaarheid dat uit ditzelfde citaat naar voren komt (zie cursivering). Dit duidt op een belang van theorievorming zoals dat centraal staat in theoriegericht onderzoek. Dit terwijl de oplossing van een concreet handelingsprobleem doorgaans veeleer vraagt om idiografische kennis, ofwel tijd- en contextgebonden inzichten (zie hierna, alsook Verschuren, 2009, 2011a, 2011b, 2017). Ook verderop in hun tekst komen de auteurs voortdurend op het belang van externe validiteit terug. Zo stellen ze: ‘Voor kwalitatief onderzoek lijkt theorievorming vooral de doelstelling’ (Baarends & Simon, 2017, p. 7). En iets verderop: ‘De mate van generaliseerbaarheid of externe validiteit blijft een gevoelig punt’ (Baarends & Simon, 2017, p. 8). Overigens, voor een goed begrip van de lezer, generalisering verdraagt zich wel met praktijkrelevant onderzoek.

Ook volgens de door de auteurs op pagina 7 aangehaalde De Boer en Smaling (2011) is theorievorming kenmerkend voor kwalitatief onderzoek. Het is een kwestie van logica dat ze daarmee ook vinden dat theorievorming kenmerkend is voor praktijkgericht kwalitatief onderzoek. En aan het slot van hun bijdrage stellen de auteurs andermaal: ‘Het idee van generalisatie van onderzoeksgegevens zou daarvoor [zij bedoelen verbreding van de scope van onderzoek tot buiten het lokale niveau] opnieuw doordacht moeten worden’ (Baarends & Simon, 2017, p. 11). Dit alles duidt erop dat voor de auteurs de term praktijkgericht niet betekent gericht op een, normaliter tevoren gekozen, concreet aan te pakken handelingsprobleem. Veeleer houdt het voor hen in dat het onderzoek relevant is voor ‘de praktijk’, wat met dit laatste begrip ook bedoeld moge zijn.

Mainstream kwalitatief onderzoek

De geschetste hang naar theorievorming en generalisering van de auteurs is niet los te zien van een reeds lang onder kwalitatieve onderzoekers in Nederland bestaande exclusieve voorkeur voor een bepaald type kwalitatief onderzoek. Ter verduidelijking maak ik in navolging van Kidder en Fine onderscheid tussen een q- en Q-type kwalitatief onderzoek (Kidder & Fine, 1987). Naast de algemene kenmerken van kwalitatief onderzoek zoals genoemd in de definitie van dit type onderzoek in de inleiding die beide typen gemeen hebben, zijn ze te kenschetsen zoals schematisch weergegeven in het overzicht hierna.

Zoals dit overzicht laat zien, is onder andere kenmerkend voor het Q-type een inductieve redeneervorm en een daaruit voortvloeiende empirie gedreven werkwijze. Beginpunt is niet een theorie of een gearticuleerde vraagstelling, en in plaats van met van tevoren scherp gedefinieerde concepten werkt de onderzoeker doorgaans met open begrippen, de zogenoemde sensitizing concepts. Kortom, men werkt volgens een emergent design. De uitvoering geschiedt veelal op iteratief-parallelle wijze, en bij de analyse van het onderzoeksmateriaal is de onderzoeker gericht op het interpreteren en begrijpen van dit materiaal. Causale verklaring zoals gangbaar in het kwantitatieve en het q-type kwalitatief onderzoek wijst men af (zie Verschuren, 2011b). Tot slot hebben aanhangers van het Q-type kwalitatief onderzoek doorgaans, naast een voorkeur voor theorievorming en generalisering, een belangstelling voor de individuele betekenisgeving en zingevingsprocessen van onderzochten.

Het q-type kwalitatief onderzoek lijkt qua opzet, aansturing en volgorde van uitvoering op een gangbaar kwantitatief onderzoek. Dat blijkt uit de kenmerken in de linker kolom van het overzicht, die ook voor kwantitatieve vormen van onderzoek gelden. Zo is men doelgericht door een tevoren geformuleerde doel- en vraagstelling als vertrekpunt te nemen, gebruikt men vooraf scherp gedefinieerde en afgebakende begrippen, en wordt het onderzoek vervolgens op een lineair-seriële en hoofdzakelijk via een deductieve redeneer- en werkwijze uitgevoerd. Eveneens overeenkomstig mainstream kwantitatief onderzoek maar in afwijking van het Q-type kwalitatief onderzoek zijn er in een q-benadering geen preoccupaties qua het object en product van onderzoek. De uitvoering is ofwel theorie-, ofwel probleemgestuurd. Dit afhankelijk van de vraag of sprake is van een theoriegericht of een praktijkgericht onderzoek. Het onderscheid met kwantitatief onderzoek is dat kwalitatieve methoden van gegevensverzameling en -analyse worden gebruikt (zie de definitie in de inleiding). Voor meer bijzonderheden over een Q- en q-type onderzoek zie Verschuren (2009 en 2011a), en zie ook bij een gesloten versus een open onderzoekbenadering in Verschuren (2017).

In Nederland is de mainstream van kwalitatief onderzoek van het Q-type. Dit blijkt bijvoorbeeld uit de inhoud van het tijdschrift KWALON. Volgens het colofon van dit tijdschrift kan, ik citeer, ‘de term “kwalitatief onderzoek” (…) opgevat worden als een parapluterm, waaronder uiteenlopende onderzoekstradities of stromingen schuilgaan’. Maar niet onvermeld mag blijven dat het gros van wat men sinds jaar en dag in dit tijdschrift aantreft te karakteriseren is als Q-type. Auteurs die expliciet denken en handelen vanuit een op de empirisch-analytische gelijkende deductieve benadering zoals geschetst, komt men er nagenoeg niet in tegen. Dit heeft ongetwijfeld te maken met de paradigmatische en sterk antipositivistische trek die, althans in Nederland, het Q-type kwalitatief onderzoek kenmerkt. Deze benadering is dan ook meer als een paradigma dan als een methodologie te omschrijven. Methodologie houdt zich bezig met de weg waarlangs, niet met de weg waarnaartoe (lees zingeving en theorievorming) (zie ook Verschuren, 2003).

Ook in de bijdrage van de auteurs zien we dit Q-type terug, waar ze het voortdurend hebben over theorievorming, generalisering en menselijke betekenisgeving. Ook Boeije (2014) met haar stelling dat kwalitatief onderzoek als doel heeft de ontwikkeling van concepten, wordt aangehaald. Maar in de eveneens door hen besproken opzet van Doorewaard et al. (2015) herkennen we het q-type kwalitatief onderzoek. Waarom te midden van een overduidelijke Q-benadering juist dit daarvan sterk afwijkende q-type door de auteurs ten tonele wordt gevoerd, had wel enige verduidelijking en argumentatie verdiend.

Nadelen en problemen

Een verweer van de auteurs op de geuite kritiek zou kunnen zijn dat het onderscheid tussen de begrippen praktijkgericht en praktijkrelevant een kwestie is van semantiek. Maar ook al vervangen zij in hun bijdrage het woord praktijkgericht overal door praktijkrelevant, dan nog is daarmee het gesignaleerde probleem allerminst opgelost. De in de mainstream in het algemeen en door de auteurs in het bijzonder gekozen invulling van praktijkgericht onderzoek zorgt voor een viertal nadelen en problemen: (a) onduidelijkheid en verwarring, (b) vrijblijvendheid, (c) een beperkte bruikbaarheid, en mede daardoor (d) een drastische vermindering van juist de beoogde praktijkrelevantie.

(a) Onduidelijkheid en verwarring

Dat het hebben van een extern doel kenmerkend is voor praktijkgericht onderzoek, en dat dus geen kennis om de kennis wordt nagestreefd zoals in een theoriegericht onderzoek, zullen de auteurs vermoedelijk niet ontkennen. Maar niet duidelijk is wat bij hen, en meer algemeen in de mainstream, dit externe doel is. Het antwoord ‘een positieve bijdrage leveren aan een bestaande praktijk’ is te zwak en te vaag om te kunnen spreken van doelgerichtheid. Vragen zijn dan immers: Welke praktijk? Wat is er mis met die praktijk? Welke bijdrage aan die praktijk beoogt de onderzoeker? Voor een beantwoording van deze en dergelijke vragen zijn nodig een probleemanalyse en diagnose. Maar die worden niet uitgevoerd, want er is geen concreet op te lossen probleem.

Een laatste hier te noemen proeve van onduidelijkheid geven de auteurs waar ze stellen: ‘Kwalitatief onderzoekers ervaren vermoedelijk deze spagaat minder [ze bedoelen de spagaat in het eerdergenoemde citaat op pagina 5], omdat wordt aangenomen dat kwalitatief onderzoek relatief dicht bij een praktijk blijft’ (Baarends & Simon, 2017, p. 5). De vraag is welke ‘praktijk’? Bedoelen ze hier niet gewoon de empirie? In dat geval heeft de uitspraak niets met praktijkgerichtheid als wel met de normale eis van empirische onderbouwing te maken. En hoezo blijft kwalitatief onderzoek automatisch dicht bij ‘de praktijk’? En als dat al zou kloppen, geldt dat dan voor elke vorm van kwalitatief onderzoek? Verderop geven ze zelf een antwoord waar ze schrijven: ‘Onderzoek vanuit een diversificatie-perspectief en vrij perspectief sluit aan bij betekenisverlening van mensen zelf én (daardoor) [sic] bij praktijkgerichtheid’ (Baarends & Simon, 2017, p. 9). Maar volstrekt duister blijft hoe aansluiting bij betekenisverlening zorgt voor praktijkgerichtheid. Wel duidelijk is dat deze aandacht voor individuele betekenisverlening duidt op een reductionistische trek, en als zodanig zelfs een belemmering kan vormen voor praktijkgerichtheid (zie verderop). Er wordt te veel op het niveau van het individu onderzocht en te weinig op dat van een groep als geheel (Verschuren, 2009, 2017).

(b) Vrijblijvendheid

Gebrek aan doelgerichtheid maakt een praktijkrelevant onderzoek zoals voorgestaan door de auteurs tot een vrijblijvende aangelegenheid waar voor een buitenstaander moeilijk vat op is te krijgen. Om die reden zullen ook potentiële opdrachtgevers weinig voor zo’n onderzoek voelen (zie ook onder conclusie hierna). In welke richting moet een probleem (lees ‘een praktijk’), worden aangepakt? Heeft de onderzoeker een goed beeld van die ‘praktijk’? Als er geen probleemanalyse en diagnose worden uitgevoerd, waarop is dan dit beeld gebaseerd? En wat te doen als bijvoorbeeld: (1) de ‘praktijk’ niet duidelijk is, er (2) onoverbrugbare belangentegenstellingen tussen betrokkenen in een ‘praktijk’ zijn, (3) de onderzoeker het niet met een financier of opdrachtgever eens is over de aard van de aan te pakken ‘praktijk’ of (4) als de laatstgenoemden strategisch handelen? Ik sluit niet uit dat de auteurs in een concreet geval deze en dergelijke vragen zullen weten te beantwoorden. Mijn vraag is dan alleen vanuit welk perspectief ze dat doen als er geen expliciet en helder extern doel is.

(c) Belemmering van bruikbaarheid

Conceptualisering van praktijkgericht als praktijkrelevant onderzoek komt allerminst ten goede aan de bruikbaarheid, in mijn ogen het verreweg belangrijkste criterium waaraan praktijkgericht onderzoek moet voldoen (zie ook de definitie van praktijkgericht onderzoek in de inleiding, alsook Verschuren, 2009, 2011a, 2011b, 2017). Een eerste reden hiervoor is het centraal stellen van validiteit, wat ten koste gaat van het criterium van bruikbaarheid. Dit is ook het geval in de bijdrage van de auteurs, waarin dit begrip amper voorkomt. Ten tweede is een inductieve benadering hier een sta-in-de-weg, belangrijk als een deductieve benadering is voor doelgericht probleemoplossend onderzoek. Hier wordt vanuit een probleemanalyse en diagnose van het op te lossen handelingsprobleem nagegaan welke kennis nuttig en nodig is (vraagstelling). Vervolgens wordt hier een technisch ontwerp uit afgeleid (Verschuren, 2009).

Ook een focus op individuele zingevingsprocessen kan een belemmering worden voor de bruikbaarheid. Niet alleen zijn deze in veel probleemstellingen van praktijkgericht onderzoek in het geheel niet aan de orde (Verschuren, 2011b). Het centraal stellen van het individu is bovendien een vorm van voor praktijkgericht onderzoek niet zelden schadelijk reductionisme. Voor handelingsproblemen is meer holistische kennis nodig, kennis op groepsniveau, waar een groep meer is dan de optelsom van individuen (Verschuren, 2009, 2017).

Verder is een afwijzing van de causale verklaringswijze die men bij menig aanhanger van de Q-benadering aantreft, een ernstig obstakel om tot een bruikbaar praktijkgericht onderzoek te komen (Verschuren, 2011b).

En tot slot staat ook een excessief streven naar generaliseerbaarheid het realiseren van bruikbaarheid in de weg. Zoals gezegd vraagt de oplossing van praktische problemen doorgaans om idiografische kennis, dus kennis gebonden aan de lokale context waarin het op te lossen handelingsprobleem is ingebed (Verschuren, 2009, 2017). Dit staat haaks op een streven naar generalisatie.

In deze hang naar kennis van generalistische aard staan de auteurs overigens niet alleen. Deze sluit naadloos aan bij de Evidence Based Practice-benadering (EBP), een hype die de laatste jaren vooral praktijkgerichte onderzoekers van Nederlandse hbo-instellingen treft. Ook zij zijn gericht op ‘praktijken’, in dit geval praktijken van professionals. In plaats van te starten vanuit een concreet handelingsprobleem zoeken ze naar zogenoemde best practices, en wel zonder dat duidelijk wordt wat ‘best’ is. Ook hier is een probleemanalyse noch diagnose die dit duidelijk zou kunnen maken (Verschuren, 2015).

(d) Ondermijning van praktijkrelevantie

Invulling van praktijkgericht als praktijkrelevant werkt dit laatste juist tegen. Een eerste aanwijzing hiervoor is een verwaarloosde bruikbaarheid. Daarnaast is het overgrote deel van in Nederland uitgevoerd opdrachtonderzoek van het praktijkgerichte type (zoals door mij ingevuld). Bedoeld is beleidsonderzoek van en voor lokale, regionale, nationale en supranationale overheden, en onderzoek ter ondersteuning van de oplossing van problemen van strategisch management in organisaties. De verreweg meest voorkomende vormen hiervan zijn respectievelijk evaluatie- respectievelijk marktonderzoek, waarin alleen al per jaar in Nederland vele miljarden omgaan. Met hun opvatting over en invulling van praktijkgericht onderzoek zetten de auteurs zichzelf in dit onderzoekcircuit nagenoeg buiten spel; praktijkrelevantie is over het algemeen onvoldoende om opdrachtgevers in dit domein te bedienen.

Conclusie

Op de eerste pagina van hun bijdrage stellen de auteurs dat het met de spagaat van kwalitatieve onderzoekers wel zal meevallen (Baarends & Simon, 2017, p. 5). Op basis van de analyses hiervoor waag ik dat te betwijfelen. Ik kan mij niet aan de indruk onttrekken dat een hang naar theoriegerichtheid en generaliseerbaarheid voortkomt uit een breed gevoelde behoefte aan erkenning. In ieder geval wijst de verzuchting van de auteurs ‘(…) om als volwaardig onderzoek te worden erkend’ (Baarends & Simon, 2017, p. 5) wel in die richting. Men wringt zich in allerlei bochten om toch maar het predicaat praktijkgericht te kunnen voeren. Dit werkt averechts waar dit niet geloofwaardig overkomt. Sterker nog, ‘praktijkrelevant’ verkopen als ‘praktijkgericht’ zet ons op een dwaalspoor. Wil men daadwerkelijk en op een geloofwaardige wijze toe naar praktijkgericht onderzoek en meedoen in het speelveld van dit type onderzoek in Nederland, dan is een grondige koerswijziging nodig. Men dient een afkeer van het concept causaliteit en van causale verklaring af te leggen, en een exclusieve gerichtheid op generalisering, theorievorming en zingevingsprocessen te laten varen (zie Verschuren, 2003). Kortom, men dient bereid te zijn om volgens het q-type kwalitatief onderzoek te werken. Daarnaast is nodig: accepteren en praktiseren van de principes van de interventiemethodologie. Gelet op de vele voordelen die (het q-type) kwalitatief onderzoek voor het praktijkgerichte onderzoek biedt boven de nu doorgaans gebruikte kwantitatieve vormen, zou aldus veel gewonnen zijn.

© 2009-2021 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.