Aanleiding

In zijn bespreking van mijn boek (Swanborn 2002) over Evalueren merkt Leys (2003) op dat ik kwalitatief onderzoek identificeer met explorerend onderzoek, en hij vindt dat bizar. Nu heb ik me in de gewraakte tekst nogal voorzichtig uitgedrukt ('...procesevaluatie is vrijwel altijd kwalitatief onderzoek'.., en: '...procesevaluatie kenmerkt zich – eveneens meestal – door een explorerende benadering...'). Ik meen dat Leys' kritiek dan ook nogal kort door de bocht is.

Bovendien zien veel kwalitatieve onderzoekers juist het explorerende karakter van hun werk als kenmerk van kwalitatief onderzoek (zie bijvoorbeeld Maso en Smaling, 1998, p.10). Vaak worden termen als 'explorerend' en 'flexibel' zelfs in de definitie van kwalitatief onderzoek opgenomen. En ook als je een boek als dat van Strauss (1987) over Qualitative Analysis leest, dan is het duidelijk – zonder dat de term exploratory gebruikt wordt – dat de verdedigde onderzoeksaanpak alle kenmerken van exploratie vertoont.

Het betreft een verwijt dat van kwalitatieve zijde vaker gehoord wordt ten aanzien van kwantitatieve (of als zodanig gepercipieerde) onderzoekers en methodologen. Leys' kritiek moet dan ook eerder begrepen worden vanuit bezwaren tegen het idee dat exploratie tot onderzoeksresultaten van een lagere status leidt dan routineonderzoek. Zie zijn opmerking dat procesevaluatie – en dus kwalitatief/explorerend onderzoek – verder kan reiken dan 'alleen maar een verkenning'. Als ik het goed begrijp, wordt door vele kwalitatieve onderzoekers het idee dat kwalitatief onderzoek 'slechts een voorfase kan zijn van "echt" onderzoek', verworpen.

Ik wil graag op dit punt mijn mening verduidelijken. Maar dat vereist eerst helderheid en overeenstemming voor wat betreft verschillende begrippen en onderscheidingen die relevant zijn in deze context. Ik doe een poging.

Diverse onderzoekspraktijken

Kwalitatief onderzoek onderscheid ik van kwantitatief onderzoek, doordat in kwalitatief onderzoek geen (of nauwelijks) variabelen gebruikt worden die gemeten zijn op interval- of rationiveau. Dat betekent dat er niet geteld en weinig gemeten wordt, en dat rapporten van kwalitatief onderzoek zich kenmerken door de afwezigheid van numerieke tabellen, statistieken, parameters enzovoort. Het gaat hier natuurlijk niet om een definitie waarin alle eigen kenmerken van kwalitatief onderzoek, zoals de bijzondere aandacht voor processen van interactie en betekenisgeving, worden vermeld. Het gaat om een pragmatisch criterium waarmee we kwalitatief en kwantitatief onderzoek van elkaar kunnen onderscheiden. Of als we het nog wat mooier willen uitdrukken; de afwezigheid van interval- enzovoort variabelen is een noodzakelijke voorwaarde om te spreken over kwalitatief onderzoek, echter natuurlijk geen voldoende voorwaarde.1

Van een explorerende onderzoeksaanpak is sprake wanneer de onderzoeker:

• van een brede probleemstelling uitgaat, die pas lopende het onderzoek leidt tot meer precieze probleemstellingen;
• zich niet expliciet laat leiden door van tevoren bekende theorieën, hypothesen, modellen en interpretatieschema's;
• weinig beslissingen over de onderzoeksprocedure van tevoren vastlegt, maar zich bij de voortgang van het onderzoek in sterke mate laat leiden door zijn/haar ad hoc interpretaties van de verkregen data.

Een explorerende onderzoeksaanpak ligt voor de hand als weinig over het onderzoeksobject bekend is. Zo is meestal het te bestuderen fenomeen nog niet precies afgebakend ten opzichte van de context. Er is ook nog geen model van variabelen met hun onderlinge relaties bekend. Daarom is het nog niet zinvol om de scores van een welbepaalde set van eenheden op welbepaalde variabelen te meten: dat is immers alleen zinvol als de verzameling waarover we iets willen beweren, precies afgebakend is. Door te lezen, te luisteren, te kijken en vragen te stellen, komt de onderzoeker geleidelijk toe aan de afbakening van het te onderzoeken verschijnsel, dat wil zeggen aan het ontwerpen van een model, het zoeken van de relevante variabelen. Daarbij wordt gebruikgemaakt van allerlei materiaal dat zich toevallig voordoet, maar ook van 'uitgelokt' materiaal.

Dit alles impliceert dat een explorerend onderzoeker eerder zoekt naar de omlijning van variabelen, en naar de te onderscheiden categorieën en de globale scores van zich min of meer toevallig aandienende eenheden, dan dat de precieze scores van een van tevoren omlijnde set van eenheden worden bepaald. Met andere woorden: explorerend onderzoek zal meestal kwalitatief van aard zijn. Noodzakelijk is dit echter niet (zie hieronder).

Explorerend onderzoek kan geplaatst worden tegenover routineonderzoek dat in vrijwel alle opzichten daaraan tegengesteld is. Routineonderzoek passen we toe als de startsituatie niet blanco of bijna blanco is, maar wanneer we menen het een en ander van het object van studie af te weten. Die kennis kan gebaseerd zijn op eerder onderzoek verricht in sociale contexten die verondersteld worden overeen te komen met de nieuwe context.

Routineonderzoek kent twee dominante varianten:

1. beschrijvend onderzoek;
2. (hypothese of theorie) toetsend onderzoek.2

Beschrijvend onderzoek kenmerkt zich door:

• een probleemstelling bij de start van het onderzoek in de vorm van een precieze vraag (dan wel precieze vragen);
• een precies afgebakend te bestuderen fenomeen en het domein waarin dit onderzocht wordt; bekendheid met het relevante model, en het beschikbaar zijn van adequate meetinstrumenten voor de variabelen in dit model;
• van tevoren vastgelegde beslissingen over allerlei keuzes die tijdens het onderzoeksproces gemaakt moeten worden; vermijden van zijpaden die zich in de loop van het onderzoek voordoen;
• onderzoeksresultaten die representatief zijn voor een welbepaald sociaal systeem (of welbepaalde sociale systemen) waarin zich het verschijnsel voordoet.

Standaardvoorbeeld is een enquête naar rookgedrag onder de Nederlandse bevolking. De onderzoeker weet van tevoren (vrijwel) precies wat de populatie is, en welke vragen gesteld zullen worden en welke niet. Dergelijk onderzoek is vrijwel altijd van kwantitatieve aard.

Maar er is zeker ook ruimte voor kwalitatief beschrijvend onderzoek. Denk aan het onderzoek van sociale processen, bijvoorbeeld als na eerder explorerend onderzoek van individuele socialiseringsprocessen een model is opgesteld dat vervolgens wordt toegepast bij een iets andere populatie; of aan een standaard beschrijvend onderzoek van een fusieproces van ondernemingen, of van een innovatie in een organisatie. Explorerende elementen kunnen daarbij (vrijwel) afwezig zijn als er een onderzoekstraditie en eerder verkregen kennis aanwezig is. Maar het is beslist niet noodzakelijk dat variabelen gemeten op interval- of hoger niveau in het model een rol spelen.

Toetsend onderzoek kenmerkt zich door dezelfde precondities als beschrijvend onderzoek, met dien verstande dat de probleemstelling nog iets verdergaat: er is niet alleen een precieze vraag, maar de vraag is bovendien voorzien van een antwoord. Een antwoord dat hypothetisch is: het is gebaseerd op bekende theorieën toegepast op overeenkomstig veronderstelde situaties, of dat eventueel alleen berust op een creatieve gedachte van de onderzoeker. De bedoeling van het onderzoek is het vraagteken achter de probleemstelling weg te werken; om de hypothese te verifiëren of te weerleggen. Toetsend onderzoek veronderstelt dus ook weer dat men zo veel van de te onderzoeken situatie meent te weten, dat verband gelegd kan worden met in andere, overeenkomstig geachte, situaties passende theorieën.

Is kwalitatief toetsend onderzoek mogelijk? Wederom is het antwoord positief. Al zijn er niet zoveel voorbeelden van aan te wijzen. Een standaardreferentie is Festingers (1956) 'When prophecy fails': vanuit de cognitieve dissonantietheorie werd voorspeld wat er zou gebeuren als de door een sekte voorspelde ondergang van de wereld niet plaatsvindt, en wel op basis van een kwalitatieve case study.

Wat is tot zover nu de kwintessens van dit verhaal? Kwalitatief onderzoek is niet noodzakelijk explorerend onderzoek. Als ik die suggestie zou hebben gewekt in eerdere publicaties, dan heb ik mij onduidelijk uitgedrukt. Maar kwalitatief onderzoek is wél meestal explorerend. Een sterke overlap tussen beide kan mijns inziens niet ontkend worden.

De uiteenlopende status van resultaten

Wat valt er nu te zeggen over de status van langs exploratieve weg verkregen kennis, vergeleken met de status van langs routinemate weg verkregen kennis?

In het algemeen wordt de methodologische status van exploratief verkregen kennis inderdaad als lager beschouwd dan die welke via routineonderzoek wordt verkregen. En wel omdat het risico van onjuiste of irrelevante resultaten bij exploratie groter is dan in routineonderzoek. Hiervoor bestaan de volgende argumenten:

1. omdat allerlei onderzoeksbeslissingen niet van tevoren vastgelegd worden, en onderzoeksprocedures niet gecodificeerd zijn, kunnen voorkeuren en vooroordelen van de onderzoeker in sterkere mate een rol spelen dan in routineonderzoek;
2. om dezelfde redenen kunnen specifieke en toevallige aspecten van de onderzochte context gemakkelijker dan in routineonderzoek ten onrechte voor systematisch worden aangezien.

Vandaar de gebruikelijke aanbeveling om achter de resultaten van exploratie een flink vraagteken te plaatsen. Het is natuurlijk niet per definitie zo dat een exploratieve studie twijfelachtiger resultaten oplevert dan een routineonderzoek. Er hangt veel van de kwaliteiten van de onderzoeker af. Maar door de werkwijze is de kans op verschillende soorten van bias domweg groter. Betekent dit nu dat explorerend/kwalitatief onderzoek alleen maar als een voorfase van beschrijvend of toetsend kwantitatief onderzoek moet worden beschouwd, en daarmee als zodanig een lagere status heeft? Zeker niet. Niet elk kwalitatief/explorerend onderzoek hoeft per se te worden gevolgd door een kwantitatief onderzoek. Zo is het denkbaar dat een serie van kwalitatieve exploraties wordt uitgevoerd, maar dat kwantitatief onderzoek vooralsnog niet mogelijk is. Ook is het denkbaar dat kwantificerend onderzoek niet aan de orde is omdat de resultaten van kwalitatief onderzoek – vooral indien herhaald – resultaten opleveren die voor de kennis van een verschijnsel voldoende zijn, en waarbij de precieze afbakening van een domein en kwantitatieve metingen vooralsnog irrelevant zijn.

Slotwoord

Uiteraard gaat het niet om twee simpele typen van onderzoeksbenadering, maar om een continuüm naar 'mate van rigiditeit' van onderzoeksprocedures. Aan de ene kant bevindt zich de strenge toetsing a la de aloude programmatische principes van A.D. de Groot (1964). Aan de andere kant de overigens evenzeer door De Groot beargumenteerde exploratieve vorm van onderzoek. Toetsing en exploratie vullen elkaar aan.

Exploratie vervult een onmisbare rol in het proces van wetenschappelijke kennisverwerving. Als gezegd wordt dat langs exploratieve weg verkregen kennis een lage status heeft, is dat altijd een relatieve uitspraak. Exploratie vormt inderdaad een stadium in het proces van kennisverwerving, maar dat doen alle vormen van onderzoek.

Ook toetsend onderzoek leidt immers niet tot definitieve kennis, maar brengt ons slechts tot een 'beter funderen van', een 'voorlopig blijven accepteren van een theorie' dan wel een verwerpen van de resultaten van eerder onderzoek. Toetsen houdt immers veelal in dat slechts op een bepaald domein een theorie of hypothese wordt getoetst; de resultaten zeggen nog betrekkelijk weinig over een ander domein. Een sequentie van toetsingen ligt dan voor de hand. Bovendien, ook het moderne kwantitatieve onderzoek kent als 'toetsing' aangeduide fasen die soms sterk aan exploratie doen denken. De bekende procedures (zoals LISREL) waarbij met een eenvoudig model begonnen wordt, en dit model bij wijze van spreken net zo lang via toetsing wordt uitgebreid tot dat het min of meer past, maken al duidelijk dat het gebruik van dergelijke 'weggooimodellen' het begrip toetsing tot iets erg relatiefs maken. Dit moet overigens betreurd worden. Juist een strikte codificering van onderzoeksprocedures en -beslissingen, waardoor allerlei biasbronnen geminimaliseerd worden, maakt het mogelijk de kwaliteit van onderzoeksresultaten aannemelijk te maken.

In de praktijk staat routineonderzoek bloot aan andere, maar minstens zo belangrijke risico's als explorerend onderzoek. Het is al uitgedrukt in de term 'routine': de onderzoeker loopt de kans de ogen gesloten te houden voor relevante, misschien zelfs cruciale aspecten van het onderzoeksobject als deze niet voorzien zijn in het van tevoren vastgelegde 'onderzoeksplan'. Explorerend onderzoek is in veel opzichten moeilijker dan routineonderzoek. Men moet zich door de gebruikelijke codes voor wetenschappelijk onderzoek laten leiden (oppassen voor vooringenomenheid en eigen bias) en tegelijk creatief zijn in werkwijze en zich openstellen voor allerlei mogelijk vruchtbare, mogelijk echter tot niets leidende zijpaden. Vergeleken daarmee heeft een routineonderzoeker het maar gemakkelijk.

Waar het bij alle onderzoek om gaat, is dat onderzoekers zich voortdurend afvragen of en op welke wijze hun resultaten vertekend kunnen zijn; hun conclusies beïnvloed kunnen zijn door eigen vooroordelen, verwachtingen omtrent de uitkomst en beperkte kennis, en door het toeval: waar men wel, en waar men niet tegenaan loopt.

© 2009-2019 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.