In deze bijdrage bespreek ik het potentieel van de ‘methode van grootste gelijkenis en verschil’ om met deze laatste uitdaging om te gaan. Voordeel van de techniek is dat deze toelaat een groot aantal condities te analyseren voor een aantal casussen dat te klein is voor toepassing van kwantitatieve methoden en te groot om kwalitatieve methoden toe te passen. De methode stelt ons in staat via een systematische paarsgewijze vergelijking van casussen de condities te identificeren die binnen de verzamelde dataset het meeste verschil maken voor het wel of niet optreden van een bepaald probleem (als uitkomst). De effectieve causale waarde van deze factoren en de onderliggende mechanismen kunnen dan in een kwalitatieve vervolgstudie verder worden uitgezocht. Door de zeer transparante werkwijze is het een betrouwbare methode die replicatie door andere onderzoekers toelaat. In het vervolg van het artikel gebruik ik de afkorting MDSO/MSDO om te verwijzen naar de techniek. Het acroniem staat voor de oorspronkelijke Engelstalige naam van de methode: most different similar outcome/most similar different outcome.

Hieronder bespreek ik eerst de belangrijkste karakteristieken en de doelstelling van de techniek. Daarna licht ik de centrale stappen toe in de toepassing van de techniek. Ik doe dit aan de hand van een voorbeeld uit mijn promotieonderzoek (Pattyn, 2014a). Het voorbeeld vertrekt van de observatie dat publieke organisaties sterk verschillen in de regelmaat waarmee zij hun eigen werk evalueren (Pattyn, 2014b). In de evaluatieliteratuur wordt een groot aantal mogelijke verklarende factoren genoemd voor dit verschil tussen organisaties, maar de daadwerkelijke verklarende waarde van die factoren is onbekend. De MDSO/MSDO-techniek bleek zonder meer nuttig om deze lijst van factoren te reduceren naar een meer beheersbaar aantal voor verder kwalitatief onderzoek. In de conclusie van dit artikel zal ik de voornaamste sterke en zwakke punten van deze systematisch vergelijkende methode benoemen.

Karakteristieken en doelstelling

Gisèle De Meur en Dirk Berg-Schlosser zetten midden jaren negentig de MDSO/MSDO-techniek op de methodekaart (De Meur, 1996; De Meur & Berg-Schlosser, 1994). MDSO/MSDO vertrekt van het concept van casussen, zoals beschreven door Ragin en Becker (1992). Casussen worden beschouwd als afzonderlijke en unieke entiteiten, die kunnen worden vertaald in een configuratie van verschillende kenmerken (condities) (De Meur & Gottcheiner, 2009: 208).
De techniek is in essentie niet anders dan een systematische toepassing van de assumpties van John Stuart Mill (1973 [1843]). Mills methoden van overeenkomst (Method of Agreement) en van verschil (Method of Difference) vormen de basis van veel comparatieve designs in de sociale wetenschappen. Maar waar Mill, strikt genomen, slechts focust op verschil/gelijkenis op één conditie, focust de MDSO/MSDO-techniek op ‘meest verschillende’ of ‘meest gelijkende’ casussen (De Meur, 1996; De Meur & Gottcheiner, 2009).
Zoals de naam van de techniek al aangeeft, ambieert men twee doelen: identificatie van factoren die wellicht verklaren (1) waarom sterk op elkaar gelijkende casussen niettemin tot een verschillende uitkomst leiden, en (2) waarom sterk van elkaar verschillende casussen tot dezelfde uitkomst leiden. De techniek zal zelf geen causaliteit blootleggen, maar eerder wijzen op associaties van factoren met een bepaalde uitkomst. Associaties dienen niet te worden verward met correlaties. De MDSO/MSDO-techniek behoort tot de groep van configurationele comparatieve methoden, en vertrekt van dezelfde assumpties. De kwalitatieve vergelijkende analyse (QCA) is de bekendste techniek van deze groep. Causaliteit wordt, anders dan bij statistische methoden, als asymmetrisch verondersteld: indien de aanwezigheid van bepaalde condities een uitkomst verklaart, is het niet noodzakelijkerwijs zo dat de afwezigheid van diezelfde condities de afwezigheid van die uitkomst verklaart. Hieraan gekoppeld is de veronderstelling dat er meerdere mogelijke verklaringen zijn, dat wil zeggen meerdere combinaties van condities voor eenzelfde fenomeen. Configurationele methoden zijn casusgeoriënteerd: geen focus op gemiddelden, zoals bij statistiek, maar een focus op de afzonderlijke casussen (meer over de assumpties achter configurationele comparatieve methoden kan worden gevonden in Verweij & Gerrits, 2012). Ik wil benadrukken dat een toepassing van de MDSO/MSDO-techniek niet stopt bij de loutere identificatie van factoren. Het is aan de onderzoeker om zijn of haar gedetailleerde kennis over de casussen te gebruiken om de MDSO/MSDO-resultaten te interpreteren, en de onderliggende causale mechanismen te ontrafelen. Idealiter worden hiertoe bijkomende kwalitatieve technieken gebruikt zoals diepte-interviews. De combinaties van condities kunnen verder worden onderzocht met bijvoorbeeld QCA.

Karakteristiek voor de configurationele groep van methoden is het gebruik van Booleaanse technieken. De MDSO/MSDO-techniek vereist niet alleen het ontrafelen van casussen in condities, maar vraagt dat elke conditie en de uitkomst worden vertaald in een binaire 0/1-score. Een score ‘0’ staat voor ‘afwezigheid’ van een bepaalde conditie, een score ‘1’ voor aanwezigheid. Het scoren van casussen is een cruciale stap in elke configurationele comparatieve techniek. Het vergt een gedetailleerd inzicht in elke casus. Het verschil tussen 0 en 1 wijst op een kwalitatief verschil tussen casussen, en dient gebaseerd te zijn op gegronde theoretische en empirische argumenten, rekening houdend met het voorwerp van studie en het veronderstelde verband van een variabele met een uitkomst. Nemen we bijvoorbeeld de variabele ‘leeftijd’ (De Meur & Gottcheiner, 2009: 217). Het zou een foute strategie zijn te vertrekken van het gemiddelde of de mediaan van een groep personen om te bepalen wie ‘oud’ of ‘jong’ is. Of iemand als ‘oud’ of ‘jong’ wordt beschouwd, zal afhangen van het voorwerp van onderzoek: bestudeert men pensioenen of festivals? De vertaling van variabelen in 0/1-scores houdt een reductie van de realiteit in. Het betreft een focus op trends, eerder dan op nuances. Maar het laat zien wat er echt toe doet. Het promotieonderzoek van de auteur, bijvoorbeeld, maakte gebruik van een groot aantal interviews. Respondenten van eenzelfde organisatie bleken soms te verschillen van mening over eenzelfde fenomeen, bijvoorbeeld bij de vraag ‘Ervaart u competitie met andere organisaties?’ Sommige respondenten zijn geneigd om meer in extremen te antwoorden dan andere (vergelijk de antwoorden ‘vrij veel’, ‘veel’ en ‘zeer veel’). Niettemin is de onderliggende trend duidelijk: bij organisaties waar respondenten consistent oordeelden dat er ten minste ‘vrij veel’ competitie wordt ervaren, werd score ‘1’ toegewezen op de variabele ‘competitie’. Ik wil nogmaals benadrukken dat de MDSO/MSDO-techniek niet stopt bij de eigenlijke met software uitgevoerde analyse. Casegebaseerde interpretatie van de resultaten is cruciaal. Hierbij kunnen nuances tussen respondenten opnieuw in rekening worden gebracht. De MDSO/MSDO-techniek laat vooralsnog niet toe meerdere waarden van een variabele in de analyse te betrekken, zoals bij de meer geavanceerde QCA-technieken wel het geval is (de zogenaamde fuzzy-set QCA).

De MDSO/MSDO-techniek toegepast

In wat volgt licht ik aan de hand van een concreet voorbeeld de typische stappen toe die men dient te volgen bij toepassing van de MDSO/MSDO-techniek. Ik beperk me in deze bijdrage tot een algemene toelichting van elke stap. Voor meer details verwijs ik naar gespecialiseerde publicaties over de techniek (De Meur, 1996; De Meur & Berg-Schlosser, 1994; De Meur & Gottcheiner, 2009).
Waarom voeren sommige organisaties regelmatig beleidsevaluaties uit en doen andere organisaties dit zelden? Dit is de vraag die we, onder meer met behulp van de MDSO/MSDO-techniek, wilden beantwoorden. Ik vertrek voor deze bijdrage van een datatabel voor achttien organisaties, die werden gescoord op twintig condities (zie tabel 1). De scoring is de resultante van een uitgebreide dataverzamelingsstrategie, gebruik makend van diepte-interviews en een survey bij de betrokken organisaties. Binnen het bestek van deze bijdrage kan ik niet ingaan op de totstandkoming van de scores (0 of 1) voor elke conditie.
We onderscheiden twee uitkomsten in termen van evaluatieregelmaat: organisaties die regelmatig aan evaluatie doen (score: 1) en organisaties die zelden aan evaluatie doen (score: 0). De MDSO/MSDO-techniek opereert op basis van clusters van condities. Voorafgaand aan de eigenlijke analyse dienen de condities in theoretisch logische groepen te worden opgedeeld. Deze groepen kunnen van zeer verschillende aard zijn. In lijn met het theoretisch kader van het promotieonderzoek verdelen we de condities in vier clusters: (0) actororiëntaties, (1) de institutionele setting, (2) taakkarakteristieken van de organisatie en (3) condities gerelateerd aan het historische pad van de organisatie. De toepassing van de techniek verloopt stapsgewijs. Nadat gelijkenissen en verschillen per cluster van condities worden bekeken, zal een cross-clustervergelijking worden uitgevoerd.

Tabel 1: Configuraties van casussen, vertaald in Booleaanse scores

Stap 1: Hoe verschillend zijn casussen van elkaar?

De techniek gebruikt een Booleaanse meetafstand. Men telt eenvoudigweg het aantal condities waarop elk paar van casussen van elkaar verschilt. Neem bijvoorbeeld organisaties 12 (INTALP1) en 18 (DEPT6) en het cluster ‘actororiëntaties’. De twee organisaties verschillen op vier van de zes condities die dit cluster telt (wanneer INTALP1 een score ‘1’ heeft op een bepaald kenmerk, behaalt DEPT6 een ‘score 0’, en vice versa). Men herhaalt deze oefening voor elk van de vier clusters.

Stap 2: Wat zijn meest gelijkende of meest verschillende paren van casussen?

Nadat we de Booleaanse afstand voor elk paar casussen kennen, kunnen we de minimumafstand berekenen die we observeren tussen casussen met een verschillende uitkomst voor evaluatieregelmaat, en de maximumafstand voor de casussen met eenzelfde evaluatieregelmaat. De grootste gemeten Booleaanse afstand tussen casussen uit dezelfde uitkomstgroep (wel versus geen regelmatige evaluatie) voor een bepaald cluster kenmerken wordt gedefinieerd als ‘niveau 0’ van verschil. Het eerder vermelde koppel van organisaties 12 en 18 is een dergelijk paar voor het cluster ‘institutionele kenmerken’ (cluster 1). De organisaties verschillen op vijf van de zeven condities voor dit cluster. Geen van beide evalueert regelmatig. Er zijn geen andere casussen die voor meer condities verschillen. Voor het cluster ‘institutionele kenmerken’ stellen we nu dat paren die voor vier condities een andere score halen op ‘niveau 1’ van elkaar verschillen (5 – 1 = 4), enzovoort. Voor de mate van gelijkenis tussen casussen uit verschillende uitkomstgroepen wordt eenzelfde procedure gevolgd, maar dan in omgekeerde richting (De Meur, 1996).
De vergelijkingen vinden steeds plaats per cluster van kenmerken (condities). Casusparen kunnen voor het ene cluster sterk gelijkend zijn, en voor een ander niet. Figuur 1 biedt een overzicht van de niveaus van gelijkenis en verschil voor alle clusters. Voor de berekening hanteerde ik specifieke software (beschikbaar via www.jchr.be/01/beta.htm; laatst geraardpleegd op 5 september 2014).

Figuur 1: Niveaus van gelijkenis en verschil. Output gegenereerd door MDSO/MSDO-software, versie 8 juli 2006 (ontwikkeld door G. De Meur).

De figuur is onderverdeeld in drie zones, met MDSO voor evaluatieregelmaat, MDSO voor gebrek aan evaluatieregelmaat en MSDO voor aanwezigheid versus afwezigheid van evaluatieregelmaat. Zoals blijkt uit figuur 1 verschillen de casussen 12 en 18 op het hoogste niveau (niveau 0) voor clusters 1 (institutionele kenmerken) en 3 (pad van de organisatie). Voor cluster 0 (actororiëntaties) verschillen de twee organisaties op het op één na hoogste niveau (niveau 1). Voor cluster 2 (taakkarakteristieken) zijn de organisaties meer gelijkend dan verschillend (vandaar het ‘dash’-symbool). De grens tussen verschil en gelijkenis ligt op de helft van het aantal condities per cluster. Welke paren van casussen moeten we nu als meest verschillend of gelijkend beschouwen? In het beschreven onderzoek hanteerde ik een vrij conservatieve visie om de lange lijst van twintig condities zo veel mogelijk te reduceren voor verder onderzoek. Ik selecteerde enkel de paren van casussen die voor het hoogste aantal clusters van condities verschilden op niveau 0 of niveau 1. Men kan ook ‘lagere’ niveaus in rekening brengen, maar dit zal een impact hebben op het aantal condities met verklarend potentieel die men overhoudt. Hoe meer condities, hoe uitgebreider en complexer het vervolgonderzoek zal zijn. Ik adviseer te starten met een beperkte lijst van condities. Uitbreiding is steeds mogelijk indien men niet tot een voldoende verklaring komt.

Stap 3: Welke condities hebben het meest verklarende potentieel?

Zodra de meest markante paren zijn geselecteerd in elke zone, kan de selectie van verklarende condities zeer vlot verlopen. Voor de zone MDSO voor evaluatieregelmaat kijken we op welke condities de meest verschillende paren toch eenzelfde uitkomst halen. We herhalen dezelfde strategie voor de zone MDSO voor de organisaties zonder evaluatieregelmaat. Voor de zone MSDO zoeken we naar de condities waarvoor de meest gelijkende paren toch een verschillende uitkomst halen. Bijvoorbeeld: om te begrijpen waarom de casussen 12 en 18 toch evaluatieregelmaat missen, vergelijken we de condities in clusters 0, 1 en 3, en zoeken we naar condities waarvoor deze meest gelijkende casussen toch verschillen. Op deze wijze identificeerde ik de condities ‘aanwezigheid van evaluatievraag van organisatiemanagement’, ‘aanwezigheid van steun voor evaluatie binnen de organisatie’ en ‘afwezigheid van Vlaamse en EU-evaluatieverplichtingen’ als meest relevant voor dit paar. In mijn onderzoek selecteerde ik alle condities die ten minste tweemaal werden vermeld over de meest gelijkende of verschillende paren heen, en die consistent met dezelfde uitkomst overeenkwamen. Of men al dan niet deze vrij restrictieve selectiecriteria hanteert, is opnieuw afhankelijk van de doelstelling van de onderzoeker. Hoeveel condities wil men uiteindelijk overhouden? Tabel 2 geeft het overzicht van condities die we, op basis van het voorbeeld, aan een verdere diepgaande kwalitatieve analyse zouden moeten onderwerpen.

Tabel 2: Condities met sterkst verklarend potentieel; resultaat MDSO/MSDO-analyse

Merk op dat niet alle condities die ‘noodzakelijk’ zijn voor evaluatieregelmaat of de afwezigheid ervan ook automatisch als relevant worden geïdentificeerd in de MDSO/MSDO-methode. In het cluster ‘pad van de organisatie’ bijvoorbeeld, scoren alle casussen met evaluatieregelmaat een ‘1’ op de conditie ‘evalueerde voor de 2006-hervormingen’. Deze conditie kan bijgevolg als een noodzakelijke voorwaarde worden beschouwd voor evaluatieregelmaat. Toch wordt deze conditie niet geïdentificeerd in de MDSO/MSDO-analyse. Noodzakelijke voorwaarden verschillen immers ook in relevantie. Cruciaal is in welke mate een noodzakelijke conditie empirisch wordt vastgesteld bij de casussen zonder én met evaluatieregelmaat (de zogenaamde ‘coverage’-score van een noodzakelijke voorwaarde). Niet alleen de casussen met evaluatieregelmaat evalueerden voor 2006. Ook veel casussen zonder evaluatieregelmaat deden dit. De genoemde noodzakelijke conditie kan bijgevolg als triviaal worden beschouwd. De actueel verklarende waarde is klein.

Conclusie

De assumpties achter MDSO/MSDO gaan terug tot de alom gekende methoden van verschil en overeenkomst van J.S. Mill. Niettemin zijn toepassingen schaars. De methode heeft nochtans veel potentieel. Ze is uitermate geschikt om uit een lange lijst factoren die factoren te identificeren met wellicht de meest verklarende kracht. De techniek laat toe factoren van totaal verschillende aard op te nemen via een clustering van condities. Het gebruik van Booleaanse methoden, eigen aan de familie van configurationele comparatieve technieken, kan mogelijk afschrikken. De methode vraagt elke casus te vertalen in een combinatie van gecodeerde 0- of 1-condities en een uitkomst. Hoewel dit leidt tot een simplificatie van de realiteit, maakt dit wel mogelijk de casussen op een zeer systematische manier met elkaar te vergelijken. Het is nog steeds aan de onderzoeker om te interpreteren of de door de MDSO/MSDO-techniek geïdentificeerde condities daadwerkelijk relevant zijn. Zoals de grondleggers van de techniek stellen:

De condities die de techniek helpt te identificeren, leggen geen causale mechanismen bloot, maar associaties met een bepaalde uitkomst. Within-case-analysetechnieken zijn noodzakelijk om het daadwerkelijke causale verband bloot te leggen.

© 2009-2018 Uitgeverij Boom Amsterdam

De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:

Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.