Systematische kwalitatieve vergelijkende analyse

Systematische kwalitatieve vergelijkende analyse (SKVA) – of Qualitative Comparative Analysis (QCA) in het Engels – is in 1987 door Charles C. Ragin geïntroduceerd met zijn boek The comparative method. Ragin beoogt met zijn werk een brug te slaan tussen kwalitatief casusonderzoek en kwantitatief variabelegeoriënteerd onderzoek, waarbij hij een synthese van beide onderzoekstypen voorstelt. SKVA staat een vergelijking van casussen voor, waarbij de gedetailleerde complexiteit van afzonderlijke casussen en de diversiteit van het desbetreffende verschijnsel grotendeels behouden blijven (Ragin, 1987). SKVA kan voor verscheidene doeleinden worden gebruikt, waaronder het systematisch samenvatten en ordenen van grote hoeveelheden kwalitatieve data, het ontdekken van patronen en verschillen tussen casussen en het ontwikkelen en articuleren van nieuwe theoretische stellingen (Rihoux & Ragin, 2009). Wij zien SKVA niet zomaar als een methode om kwalitatieve casussen te vergelijken, maar vooral ook als een methode om grounded theory te integreren met vergelijkende procedures. Door in de eerste fase theorie te ontwikkelen op basis van het casusmateriaal en de casussen vervolgens met SKVA te vergelijken wordt de onderzoeker in staat gesteld om de iteratieve beweging tussen theorie, analyse en vergelijking te systematiseren en transparant te maken.
Hieronder bespreken we eerst de oorsprong en principes van SKVA. Vervolgens demonstreren wij deze principes aan de hand van een onderzoek naar veertien Nederlandse ruimtelijke projecten. Deze casussen zijn eerst kwalitatief onderzocht door middel van veldobservaties, semigestructureerde interviews en documentanalyse (Verweij, Klijn, Edelenbos & Van Buuren, geaccepteerd). De grote verscheidenheid aan kwalitatieve data is vervolgens met SKVA geordend en geanalyseerd door casusvergelijking. In de laatste paragraaf worden enkele literatuursuggesties gedaan voor wie zich verder wil verdiepen in SKVA.

Oorsprong

Ragin stelt in zijn boek uit 1987 dat diepgaande kwalitatieve analyses van casussen kunnen leiden tot het zichtbaar maken van de complexe causaliteit van sociale processen en van de empirische diversiteit van sociale fenomenen. Het ontbreekt echter aan middelen om de casussen onderling transparant te vergelijken. Een gedetailleerde analyse van een infrastructuurproject kan bijvoorbeeld laten zien hoe managementactiviteiten worden vormgegeven en hoe die zich verhouden tot het gepercipieerde succes van het project. Het vergelijken van twintig gedetailleerd beschreven casussen met behoud van alle uniciteit is echter praktisch onmogelijk. Daarnaast stelt Ragin dat casestudies vaak een product zijn van de interpretatie van een enkele onderzoeker, waarbij het voor lezers moeilijk te achterhalen is hoe data-analyse, interpretatie en inferentie (bewijsvoering) hebben plaatsgevonden. Over het vergelijken van casussen zegt Rihoux dat dit vaak ‘rather loose or not formalized’ gebeurt (2006: 681). Vergelijkende analyse is dan een iteratief proces, waarin casuskennis, inzicht en logisch denken resulteren in een overzicht van verschillen en overeenkomsten die op niet-geformaliseerde wijze tot stand zijn gekomen.
In geval van statistische methoden, waarbij variabelen nauwkeurig zijn omschreven, kan daarentegen wel op geformaliseerde en daarom transparante wijze worden gekomen tot generalisaties (algemene conclusies). Ook is het met variabelegeoriënteerde methoden beter mogelijk om grote aantallen gevallen te vergelijken. Echter, deze methoden bieden niet de mogelijkheid om de complexe causaliteit van de individuele casussen te handhaven, omdat vaak een beperkt aantal variabelen geselecteerd moet worden uit het rijke databestand om te vermijden dat het aantal lege cellen te groot wordt voor de gewenste statistische betrouwbaarheid. Als vervolgens een vergelijking plaatsvindt, is het de vraag of de uitkomst daarvan nog terug te voeren is tot de specifieke casussen. Zo laat een internationale kwantitatieve vergelijkende analyse van meer dan tweehonderd infrastructuurprojecten zien dat de geraamde kosten gemiddeld met 45 procent worden overschreden (Flyvbjerg, Bruzelius & Rothengatter, 2003). Dit resultaat geeft ons echter geen informatie over de aard van de kostenoverschrijding in de individuele casussen. Ragin probeert nu met zijn QCA het holistische van de kwalitatieve benadering te combineren met de analytische invalshoek van de variabelegeoriënteerde kwantitatieve benadering. De benadering kan daarmee worden gekenschetst als een middenweg tussen complexiteit en diversiteit aan de ene kant en generalisatie aan de andere kant. Zowel interpretatie als verklaring speelt in SKVA een rol.

Principes van systematische kwalitatieve vergelijkende analyse

SKVA gaat uit van een geformaliseerde notie van causaliteit. Deze notie is nadrukkelijk gebaseerd op het idee van complexe causaliteit van casussen, waarbij causaliteit als gecombineerd, meervoudig, contextueel en asymmetrisch wordt opgevat. Gecombineerd betekent dat geobserveerde verschijnselen vaak het gevolg zijn van combinaties van condities (lees: voorwaarden). Meervoudigheid betekent dat verschillende combinaties een bepaald verschijnsel kunnen veroorzaken. Contextueel betekent dat bepaalde voorwaarden afhankelijk van de context verschillende effecten kunnen genereren. Daarnaast wordt causaliteit als asymmetrisch opgevat: als in een bepaalde casus bepaalde factoren leiden tot het geobserveerde patroon, dan kan de afwezigheid van dat patroon in een andere casus niet automatisch worden verklaard met de afwezigheid van diezelfde factoren in die casus.
Deze opvatting van causaliteit is wezenlijk anders dan die in statistische methoden, waar causaliteit als lineair en additief wordt opgevat. Die vorm van causaliteit veronderstelt dat het effect van een bepaalde voorwaarde kan worden geïsoleerd van de effecten van andere voorwaarden. Dat staat haaks op de opvatting van causaliteit in SKVA, waarin veel meer recht wordt gedaan aan de complexiteit van sociale fenomenen (Grofman & Schneider, 2009), in het bijzonder de uniciteit van casussen.
Aangezien SKVA causaliteit als complex opvat, bieden correlaties geen soelaas in vergelijkingen. Daarom wordt gebruik gemaakt van setrelaties en settheorie. Een set is een verzameling objecten (hier: casussen) met één of meer gemeenschappelijke kenmerken. Een casus kan lid zijn van één of meer sets. Verschillende sets articuleren verschillende kenmerken van een casus. Een simpel voorbeeld: ‘infrastructuurproject A’ kan lid zijn van de set ‘complexe infrastructuurprojecten’ en/of de set ‘kortlopende infrastructuurprojecten’. SKVA gebruikt settheorie om uitspraken te doen over noodzakelijke en voldoende voorwaarden voor een bepaalde uitkomst. Noodzakelijke en voldoende voorwaarden komen in pure vorm echter weinig voor. Wel zijn er zogenoemde INUS-voorwaarden. Een INUS-voorwaarde wordt gedefinieerd als een ‘Insufficient but Necessary part of a condition which is itself Unnecessary but Sufficient for the result’ (Mackie, 1965: 245). Zo laat een SKVA-analyse van veertien Nederlandse ruimtelijke projecten zien dat een grote mate van stakeholderbetrokkenheid (B) gecombineerd met netwerkmanagement (M) samen een verklaring biedt voor het bereiken van stakeholdertevredenheid (T). Dat maakt dat netwerkmanagement een INUS-conditie is voor de tevredenheid van stakeholders, want alleen stakeholderbetrokkenheid is niet voldoende voor stakeholdertevredenheid. Daarnaast zijn er nog meer combinaties die voldoende zijn voor stakeholdertevredenheid, wat wijst op gecombineerde en meervoudige causaliteit. Dit is te zien in tabel 1. Een 0 staat voor een afwezige voorwaarde en een 1 voor een aanwezige.1

Tabel 1: Ruwe datamatrix (Verweij et al., geaccepteerd)

Elke rij is de kenmerkenconfiguratie van een specifieke casus. Deze ‘kenmerken’ kunnen descriptief zijn, maar in het geval van deze toepassing gaat het om kenmerken die worden gezien als mogelijke verklaringen voor stakeholdertevredenheid. Uit het vergelijken van de casussen in de tabel kan worden opgemaakt dat geen van de drie voorwaarden elke keer voorkomt bij stakeholdertevredenheid (T = 1). Dit betekent dat geen enkele voorwaarde noodzakelijk is voor het optreden van tevredenheid. Zo is de voorwaarde netwerkmanagement niet noodzakelijk, omdat in casus DIEF de uitkomst ‘aanwezig’ is, terwijl netwerkmanagement ‘afwezig’ is. Ook zijn er in deze tabel geen voldoende voorwaarden. Er is immers geen enkele voorwaarde die individueel de uitkomst tevredenheid oplevert.2 Wel zijn er INUS-condities te ontdekken. Zo is netwerkmanagement op zichzelf geen voldoende voorwaarde voor tevredenheid, maar wel een noodzakelijk element van de configuratie (lees: combinatie van sets) waar onder andere de casus ZUID lid van is. Immers, zonder netwerkmanagement is de uitkomst afwezig, zoals te zien is in de casussen SCHEL en LENT. De configuratie van ZUID is zelf niet-noodzakelijk, want er zijn ook andere configuraties met tevredenheid als uitkomst (zie tabel 2). De configuratie van ZUID is wel voldoende, want deze combinatie gaat in alle gevallen (namelijk ook NOORD, IJSS, WEST en SIJT, zoals ook te zien is in tabel 2) samen met de uitkomst ’1’ voor tevredenheid.

Casussen vergelijken volgens SKVA

Centraal in de SKVA-analyse staat de dialoog tussen theorie en empirie. Dit is vooral van belang in de selectie en constructie van de condities – ‘sets’ in termen van settheorie. Tabel 1 toont het resultaat van verschillende ronden, waarin de onderzoekers op basis van de casusdata en hun casuskennis de casussen scoorden op de verschillende kenmerken, en hun scores amendeerden na verschillende analyseronden. Bij het scoren van de casussen bleken er contradicties (logische tegenstrijdigheden) te zijn. Dit betekent dat configuraties van twee casussen gelijk waren aan elkaar, maar dat er in de ene casus wel stakeholdertevredenheid was bereikt en in de andere niet. Anders dan in een kwantitatieve analyse kan in SKVA de contradictie tussen casussen niet worden ‘opgelost’ door de scores te middelen: de dimensie ‘tevredenheid’ is casusspecifiek. De uitkomsten van de vergelijkingen moeten, zeker bij het optreden van tegenstrijdigheden, verder worden onderzocht. Dit gebeurt enerzijds door het herinterpreteren (en opnieuw coderen) van de kwalitatieve individuele casusdata en anderzijds door de theoretische definitie van een concept te heroverwegen. Merk de overeenkomst op met de systematiek van analytische inductie: data die het hypothetische verklaringsmodel tegenspreken, dwingen tot herinterpretatie van eerdere data en/of aanpassing van de verklaring. In het onderzoek van Verweij et al. werd besloten de oorspronkelijke conditie ‘stakeholderbetrokkenheid’ op te splitsen in twee dimensies. Hoewel deze verfijning leidde tot opheffing van de contradictie en tot beter inzicht in de casussen, is in dit iteratieve analytische proces later besloten tot herdefiniëring in plaats van opsplitsing van de conditie en dus ook het opnieuw scoren van de casussen op dit kenmerk. Dat leidde echter tot een volgende logische contradictie (zie tabel 2), maar ook tot een diepgaander begrip van de casussen. Contradicties kunnen niet altijd worden opgelost. Dergelijke iteratieve processen zijn gangbaar binnen kwalitatief onderzoek, maar dreigen soms enigszins gemaskeerd te worden in de definitieve presentatie. In veel sociaalwetenschappelijk onderzoek worden theorie en empirie gesmeed tot een coherent geheel. Het grote verschil tussen SKVA en andere minder systematische vormen van kwalitatief vergelijkend onderzoek is dat SKVA dit iteratieve proces transparant maakt.
De procedures binnen SKVA zijn gegrond in een diepgaande en gedetailleerde kwalitatieve analyse van de casussen. Om de aanpassing van scores te legitimeren moet de onderzoeker de casussen tot in detail kennen. Daarnaast betekent de procedure dat de onderzoeker de casussen meerdere malen moet interpreteren. Daardoor wordt de casus beter gekend. Daarnaast wijzen de procedures op het belang van theorie. Het aanpassen of includeren van sets moet theoretisch logisch en verantwoord zijn.

Casussen clusteren en begrijpen

Hoe kunnen casussen systematisch kwalitatief worden vergeleken zonder daarbij de essentie van complexe causaliteit te verliezen? De eerste stap is het maken van een overzicht van de aanwezige combinaties van voorwaarden, de uitkomsten van deze combinaties en de casussen die daarbij horen. Dit wordt, ietwat ongelukkig, de waarheidstabel of truth table genoemd.

Tabel 2: Waarheidstabel (Verweij et al., geaccepteerd)

Bij de waarheidstabel wordt enkel gekeken naar configuraties die de betreffende uitkomst hebben. Causaliteit wordt asymmetrisch opgevat en het bestuderen van de configuraties zonder de uitkomst vergt een aparte analyse. Tegenstrijdige configuraties worden hier buiten beschouwing gelaten, al zijn er in de literatuur verschillende mogelijkheden om hiermee om te gaan, bijvoorbeeld het gebruik van contrafeitelijke casussen (Ragin, 2008). Tabel 2 kan worden herschreven als de volgende formule:

In deze formule zijn verschillende zogeheten logical operators te herkennen. De eerste is logical and, die is aangegeven met het *-symbool. Dit verwijst naar het gecombineerde karakter van causaliteit. Zo zijn de sets C, B en M in de eerste expressie samengevoegd tot de set (lees: configuratie) C*B*M. De tweede is logical or, die is aangegeven met het +-symbool. Dit verwijst naar het meervoudige karakter van causaliteit. Elke configuratie is een ‘route’ naar de uitkomst. De derde is negation, aangegeven met de kleine letters. Dit wijst op de afwezigheid van een casus in een bepaalde set. Zo wordt een casus die voldoet aan de configuratie C*b*M gekenmerkt door afwezigheid in de set B. Dit betreft hier de casussen PERK en DELFT. Bovenstaande formule kan vervolgens worden geminimaliseerd met de volgende procedure: als twee of meer uitdrukkingen in de formule verschillen in slechts één voorwaarde maar wel een gelijke uitkomst produceren, dan kan de causale voorwaarde die de twee uitdrukkingen onderscheidt, worden verwijderd (Ragin, 1987). Zo kan in de formule worden gezien dat zowel C*B*M als c*B*M leidt tot de uitkomst. Het maakt dus geen verschil of C nu af- of aanwezig is; de uitkomst wordt hoe dan ook ‘geproduceerd’. Zodoende kunnen deze twee expressies worden versimpeld tot B*M. Het generalisatieproces resulteert uiteindelijk in de formule:

Dit is afgebeeld in figuur 1.

Figuur 1: Booleaanse minimalisatie

Wat betekent dit resultaat en hoe grijpt dit terug op het kwalitatieve karakter van de casus? Letterlijk gelezen stelt het bijvoorbeeld dat een grote mate van stakeholderbetrokkenheid gecombineerd met netwerkmanagement voldoende is voor stakeholdertevredenheid (B*M T). De uitkomst moet echter worden geïnterpreteerd in het licht van de kwalitatief onderzochte casussen. Zo valt in de waarheidstabel te zien dat het empirisch voorkomen van de samengestelde set B*M groter is dan c*b*m. Configuratie c*b*m wordt slechts door casus DIEF vertegenwoordigd, terwijl configuratie B*M wordt vertegenwoordigd door casussen ZUID, NOORD, IJSS, SIJT, WEST en BROEK. Dit kan voor de onderzoeker bijvoorbeeld aanleiding zijn om DIEF als unieke casus, of juist het patroon van de andere casussen, verder te onderzoeken.
Het kan echter zijn dat een bepaalde conclusie over noodzakelijke combinaties in een casus niet overeenkomt met de kwalitatieve kennis die de onderzoeker heeft van die casus. Het is daarom van groot belang de uitkomst te interpreteren in het licht van de kwalitatief onderzochte casuïstiek. Ter illustratie: in de analyse van de veertien projecten heeft na de eerste analyseronde een heroverweging plaatsgevonden. Bij herinterpretatie bleek namelijk dat casussen die gelijk scoorden op de kenmerken bij nadere beschouwing toch zodanig van elkaar verschilden dat de onderzoekers besloten de scores aan te passen. Sommige casussen veranderden daardoor van rij in tabel 2 (lees: hun lidmaatschap in setcombinaties veranderde). Het gevolg was dat de casussen binnen een rij nu beter bij elkaar pasten. Ook kan het zijn dat de formule niet strookt met de theoretische kennis van de onderzoeker. In dat geval kan de onderzoeker ervoor kiezen sets te herdefiniëren. Dit is ook gebeurd in de analyse van de veertien ruimtelijke projecten. SKVA heeft hier dus de onderzoekers op expliciete wijze aanwijzingen gegeven tot herinterpretatie van casusmateriaal. In de literatuur wordt daarom ook wel gesproken over SKVA als ‘zoeklicht’, en zelfs als een systematische grounded benadering om te komen tot nieuwe inzichten (Rihoux & Ragin, 2009).
Het mag duidelijk zijn dat SKVA geen universeel geldende uitkomsten pretendeert te genereren en dat herdefiniëring van de sets op basis van toegevoegde theoretische en empirische kennis mogelijk leidt tot wijziging van de uitkomsten. Dat is een realistische benadering van de complexiteit die de sociale werkelijkheid karakteriseert.

Tot slot

SKVA maakt het mogelijk om de onderliggende complexe causaliteit van processen in meerdere casussen te tonen zonder daarbij afbreuk te doen aan de herkenbaarheid van elke individuele casus. De rijkheid van de casus is het startpunt en de uitkomsten moeten gebaseerd zijn op de kennis over de casussen. SKVA biedt onderzoekers handvatten om kwalitatieve data te ordenen en te analyseren, waarbij zij onderbouwde en geformaliseerde uitgangspunten biedt voor vergelijkende casusinterpretatie.
Sinds de introductie van SKVA zijn verschillende subvarianten ontstaan. In 2000 lanceerde Ragin de fuzzy-setversie van SKVA (fsQCA) met zijn boek Fuzzy-set social science en in 2006 verscheen zijn vrij te downloaden programma fs/QCA (Ragin, Drass & Davey, 2006). In 2008 publiceerde hij Redesigning Social Inquiry, waarin hij een verbeterde versie van fuzzy-set QCA presenteert. Het grootste verschil tussen de originele crisp-set en de fuzzy-setvariant is dat casussen in fsQCA in bepaalde mate deel kunnen uitmaken van een set. Met fuzzy sets kunnen casussen op kenmerken meerdere waarden aannemen tussen 0 en 1. Daarmee kunnen de complexiteit en het kwalitatieve karakter van casussen nauwkeuriger worden benaderd.
Een goede introductie in SKVA is het eerste boek van Ragin uit 1987. De huidige standaard voor fsQCA is te vinden in Ragins boek uit 2008. Zijn boek uit 2000 geeft daarentegen een uitgebreider inzicht in de (fuzzy) logica van de methodiek, al is deze op bepaalde punten inmiddels achterhaald. Tot slot is in 2009 een nieuw boek verschenen onder redactie van Rihoux en Ragin, Configurational comparative methods: Qualitative Comparative Analysis (QCA) and related techniques. Het verschaft een breed overzicht van de actuele benaderingen, methoden en technieken binnen SKVA en is een aanrader voor eenieder die zich er efficiënt bekend mee wil maken.

© 2009-2019 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.