MENU
  • Home
  • Actueel
    • Nieuws
    • Agenda
  • Inhoud
    • Laatste nummer
    • Archief
    • Rubrieken
    • Redactioneel
    • Discussie
    • Artikelen
    • Boekbespreking
    • Praktijk
  • Auteurs
    • Overzicht auteurs
    • Auteursrichtlijnen
  • Abonnementen
    • Abonnement aanvragen
    • Proefabonnement
    • Voorwaarden en wijzigingen
  • Over Kwalon
    • Achtergrond
    • Redactie
    • Adverteren
    • Contact
Inloggen

Inhoud

Inhoudsopgave jaargang 19 (2014) / nummer 3
PDF  

De techniek van grootste gelijkenis en verschil (MDSO/MSDO)

Een hulpmiddel voor de selectie van causaal relevante variabelen in een databestand met weinig casussen
Valérie Pattyn
18 mei 2016

Nederlands English

Samenvatting

Sociale wetenschappers worden vaak geconfronteerd met de dubbele uitdaging dat er enerzijds tal van verklaringen zijn voor een welbepaald fenomeen en dat er anderzijds slechts een beperkt aantal casussen kan worden bestudeerd om dit fenomeen te begrijpen. Deze uitdaging wordt klassiek beschouwd als het ‘vrijheidsgraden’-probleem (Campbell, 1975): veel verklaringen/kleine n. Onderzoekers worden in een dergelijke situatie geadviseerd ofwel meer casussen in de analyse te betrekken, zodat statistische technieken kunnen worden toegepast, ofwel het aantal factoren dat men wil bestuderen, te beperken in aantal. Het eerste scenario, de uitbreiding van het aantal casussen, is vaak niet mogelijk. Veel fenomenen in de sociale wetenschappen zijn nu eenmaal van aard beperkt in aantal. Denk bijvoorbeeld aan de lidstaten van de Europese Unie (n=28). Het reduceren van het aantal verklarende variabelen is evenmin eenvoudig. In vele gevallen beschikt men immers niet over de nodige theoretische of empirische kennis om tot een zinvolle reductie over te gaan.

Summary

The most different similar outcome/most similar different outcome (MDSO/MSDO) technique. A tool for the selection of causally relevant conditions in a database with a limited number of cases

In this contribution we discuss the potential of the most different similar outcome/most similar different outcome technique. The technique enables a researcher to cope with the degrees of freedom problem (large number of conditions/small number of cases). Through a systematic comparison of pairs of cases, the method identifies the conditions of likely most explanatory relevance to understand differences and similarities in outcome. The actual causal power of the conditions and the underlying causal mechanisms can be subsequently explored with other qualitative methods. The technique relies on the same causal assumptions as other configurational comparative methods, such as qualitative comparative analysis.

Keywords

configurational comparative method Boolean technique degrees of freedom problem

Keywords

configurational comparative method Boolean technique degrees of freedom problem

In deze bijdrage bespreek ik het potentieel van de ‘methode van grootste gelijkenis en verschil’ om met deze laatste uitdaging om te gaan. Voordeel van de techniek is dat deze toelaat een groot aantal condities te analyseren voor een aantal casussen dat te klein is voor toepassing van kwantitatieve methoden en te groot om kwalitatieve methoden toe te passen. De methode stelt ons in staat via een systematische paarsgewijze vergelijking van casussen de condities te identificeren die binnen de verzamelde dataset het meeste verschil maken voor het wel of niet optreden van een bepaald probleem (als uitkomst). De effectieve causale waarde van deze factoren en de onderliggende mechanismen kunnen dan in een kwalitatieve vervolgstudie verder worden uitgezocht. Door de zeer transparante werkwijze is het een betrouwbare methode die replicatie door andere onderzoekers toelaat. In het vervolg van het artikel gebruik ik de afkorting MDSO/MSDO om te verwijzen naar de techniek. Het acroniem staat voor de oorspronkelijke Engelstalige naam van de methode: most different similar outcome/most similar different outcome.

Hieronder bespreek ik eerst de belangrijkste karakteristieken en de doelstelling van de techniek. Daarna licht ik de centrale stappen toe in de toepassing van de techniek. Ik doe dit aan de hand van een voorbeeld uit mijn promotieonderzoek (Pattyn, 2014a). Het voorbeeld vertrekt van de observatie dat publieke organisaties sterk verschillen in de regelmaat waarmee zij hun eigen werk evalueren (Pattyn, 2014b). In de evaluatieliteratuur wordt een groot aantal mogelijke verklarende factoren genoemd voor dit verschil tussen organisaties, maar de daadwerkelijke verklarende waarde van die factoren is onbekend. De MDSO/MSDO-techniek bleek zonder meer nuttig om deze lijst van factoren te reduceren naar een meer beheersbaar aantal voor verder kwalitatief onderzoek. In de conclusie van dit artikel zal ik de voornaamste sterke en zwakke punten van deze systematisch vergelijkende methode benoemen.

Karakteristieken en doelstelling

Gisèle De Meur en Dirk Berg-Schlosser zetten midden jaren negentig de MDSO/MSDO-techniek op de methodekaart (De Meur, 1996; De Meur & Berg-Schlosser, 1994). MDSO/MSDO vertrekt van het concept van casussen, zoals beschreven door Ragin en Becker (1992). Casussen worden beschouwd als afzonderlijke en unieke entiteiten, die kunnen worden vertaald in een configuratie van verschillende kenmerken (condities) (De Meur & Gottcheiner, 2009: 208).
De techniek is in essentie niet anders dan een systematische toepassing van de assumpties van John Stuart Mill (1973 [1843]). Mills methoden van overeenkomst (Method of Agreement) en van verschil (Method of Difference) vormen de basis van veel comparatieve designs in de sociale wetenschappen. Maar waar Mill, strikt genomen, slechts focust op verschil/gelijkenis op één conditie, focust de MDSO/MSDO-techniek op ‘meest verschillende’ of ‘meest gelijkende’ casussen (De Meur, 1996; De Meur & Gottcheiner, 2009).
Zoals de naam van de techniek al aangeeft, ambieert men twee doelen: identificatie van factoren die wellicht verklaren (1) waarom sterk op elkaar gelijkende casussen niettemin tot een verschillende uitkomst leiden, en (2) waarom sterk van elkaar verschillende casussen tot dezelfde uitkomst leiden. De techniek zal zelf geen causaliteit blootleggen, maar eerder wijzen op associaties van factoren met een bepaalde uitkomst. Associaties dienen niet te worden verward met correlaties. De MDSO/MSDO-techniek behoort tot de groep van configurationele comparatieve methoden, en vertrekt van dezelfde assumpties. De kwalitatieve vergelijkende analyse (QCA) is de bekendste techniek van deze groep. Causaliteit wordt, anders dan bij statistische methoden, als asymmetrisch verondersteld: indien de aanwezigheid van bepaalde condities een uitkomst verklaart, is het niet noodzakelijkerwijs zo dat de afwezigheid van diezelfde condities de afwezigheid van die uitkomst verklaart. Hieraan gekoppeld is de veronderstelling dat er meerdere mogelijke verklaringen zijn, dat wil zeggen meerdere combinaties van condities voor eenzelfde fenomeen. Configurationele methoden zijn casusgeoriënteerd: geen focus op gemiddelden, zoals bij statistiek, maar een focus op de afzonderlijke casussen (meer over de assumpties achter configurationele comparatieve methoden kan worden gevonden in Verweij & Gerrits, 2012). Ik wil benadrukken dat een toepassing van de MDSO/MSDO-techniek niet stopt bij de loutere identificatie van factoren. Het is aan de onderzoeker om zijn of haar gedetailleerde kennis over de casussen te gebruiken om de MDSO/MSDO-resultaten te interpreteren, en de onderliggende causale mechanismen te ontrafelen. Idealiter worden hiertoe bijkomende kwalitatieve technieken gebruikt zoals diepte-interviews. De combinaties van condities kunnen verder worden onderzocht met bijvoorbeeld QCA.

Karakteristiek voor de configurationele groep van methoden is het gebruik van Booleaanse technieken. De MDSO/MSDO-techniek vereist niet alleen het ontrafelen van casussen in condities, maar vraagt dat elke conditie en de uitkomst worden vertaald in een binaire 0/1-score. Een score ‘0’ staat voor ‘afwezigheid’ van een bepaalde conditie, een score ‘1’ voor aanwezigheid. Het scoren van casussen is een cruciale stap in elke configurationele comparatieve techniek. Het vergt een gedetailleerd inzicht in elke casus. Het verschil tussen 0 en 1 wijst op een kwalitatief verschil tussen casussen, en dient gebaseerd te zijn op gegronde theoretische en empirische argumenten, rekening houdend met het voorwerp van studie en het veronderstelde verband van een variabele met een uitkomst. Nemen we bijvoorbeeld de variabele ‘leeftijd’ (De Meur & Gottcheiner, 2009: 217). Het zou een foute strategie zijn te vertrekken van het gemiddelde of de mediaan van een groep personen om te bepalen wie ‘oud’ of ‘jong’ is. Of iemand als ‘oud’ of ‘jong’ wordt beschouwd, zal afhangen van het voorwerp van onderzoek: bestudeert men pensioenen of festivals? De vertaling van variabelen in 0/1-scores houdt een reductie van de realiteit in. Het betreft een focus op trends, eerder dan op nuances. Maar het laat zien wat er echt toe doet. Het promotieonderzoek van de auteur, bijvoorbeeld, maakte gebruik van een groot aantal interviews. Respondenten van eenzelfde organisatie bleken soms te verschillen van mening over eenzelfde fenomeen, bijvoorbeeld bij de vraag ‘Ervaart u competitie met andere organisaties?’ Sommige respondenten zijn geneigd om meer in extremen te antwoorden dan andere (vergelijk de antwoorden ‘vrij veel’, ‘veel’ en ‘zeer veel’). Niettemin is de onderliggende trend duidelijk: bij organisaties waar respondenten consistent oordeelden dat er ten minste ‘vrij veel’ competitie wordt ervaren, werd score ‘1’ toegewezen op de variabele ‘competitie’. Ik wil nogmaals benadrukken dat de MDSO/MSDO-techniek niet stopt bij de eigenlijke met software uitgevoerde analyse. Casegebaseerde interpretatie van de resultaten is cruciaal. Hierbij kunnen nuances tussen respondenten opnieuw in rekening worden gebracht. De MDSO/MSDO-techniek laat vooralsnog niet toe meerdere waarden van een variabele in de analyse te betrekken, zoals bij de meer geavanceerde QCA-technieken wel het geval is (de zogenaamde fuzzy-set QCA).

De MDSO/MSDO-techniek toegepast

In wat volgt licht ik aan de hand van een concreet voorbeeld de typische stappen toe die men dient te volgen bij toepassing van de MDSO/MSDO-techniek. Ik beperk me in deze bijdrage tot een algemene toelichting van elke stap. Voor meer details verwijs ik naar gespecialiseerde publicaties over de techniek (De Meur, 1996; De Meur & Berg-Schlosser, 1994; De Meur & Gottcheiner, 2009).
Waarom voeren sommige organisaties regelmatig beleidsevaluaties uit en doen andere organisaties dit zelden? Dit is de vraag die we, onder meer met behulp van de MDSO/MSDO-techniek, wilden beantwoorden. Ik vertrek voor deze bijdrage van een datatabel voor achttien organisaties, die werden gescoord op twintig condities (zie tabel 1). De scoring is de resultante van een uitgebreide dataverzamelingsstrategie, gebruik makend van diepte-interviews en een survey bij de betrokken organisaties. Binnen het bestek van deze bijdrage kan ik niet ingaan op de totstandkoming van de scores (0 of 1) voor elke conditie.
We onderscheiden twee uitkomsten in termen van evaluatieregelmaat: organisaties die regelmatig aan evaluatie doen (score: 1) en organisaties die zelden aan evaluatie doen (score: 0). De MDSO/MSDO-techniek opereert op basis van clusters van condities. Voorafgaand aan de eigenlijke analyse dienen de condities in theoretisch logische groepen te worden opgedeeld. Deze groepen kunnen van zeer verschillende aard zijn. In lijn met het theoretisch kader van het promotieonderzoek verdelen we de condities in vier clusters: (0) actororiëntaties, (1) de institutionele setting, (2) taakkarakteristieken van de organisatie en (3) condities gerelateerd aan het historische pad van de organisatie. De toepassing van de techniek verloopt stapsgewijs. Nadat gelijkenissen en verschillen per cluster van condities worden bekeken, zal een cross-clustervergelijking worden uitgevoerd.

Tabel 1: Configuraties van casussen, vertaald in Booleaanse scores

Nummer van de organisatie123456789101112131415161718
Code van de organisatieINTA9DEPT3EXTA3DEPT11DEPT5DEPT2DEPT8DEPT1INTA2DEPT7INTALP3INTALP1EXTA6INTA5EXTA2INTALP2EXTA1DEPT6
UitkomstRegelmaat in evaluatieactiviteit      Geen regelmaat in evaluatieactiviteit          
Cluster 0: Actororiëntaties
Er is een evaluatievraag van organisatiemanagement111101011111111111
Evaluatievraag van sector minister111101100101111110
Evaluatievraag van parlement000000110100111001
Evaluatievraag van middenveld110111110110111101
Evaluatievraag van andere organisaties011101000010011001
Er is algemene steun voor evaluatie binnen de organisatie101101001011110101
Cluster 1: Institutionele setting
Organisatie heeft een groot materieel gewicht001011111110011111
Organisatie heeft autonomie101000000011101100
Organisatie is departement010111110100000001
Organisatie heeft verankerde evaluatiefunctie010111100011000110
Organisatie heeft evaluatieverplichtingen die zijn vastgelegd in managementovereenkomst101000001011001100
Organisatie is onderworpen aan Vlaamse evaluatieverplichtingen000001100000000000
Organisatie is onderworpen aan EU-evaluatieverplichtingen110100000010000000
Cluster 2: Taakkarakteristieken van de organisatie
Er is aandacht van media en parlement voor de taken van de organisatie101111101110101100
Competitie met andere organisaties000010010001000000
Organisatie percipieert output als meetbaar110100111111011111
Organisatie percipieert haar uitkomsten als meetbaar110000000101100010
Cluster 3: Pad van de organisatie
Organisatie evalueerde voor de 2006-hervormingen in Vlaamse overheid111111101111111100
Organisatie is relatief stabiel gebleven000001100001100100
Er zijn weinig ministerwissels geweest001100111101011000

Stap 1: Hoe verschillend zijn casussen van elkaar?

De techniek gebruikt een Booleaanse meetafstand. Men telt eenvoudigweg het aantal condities waarop elk paar van casussen van elkaar verschilt. Neem bijvoorbeeld organisaties 12 (INTALP1) en 18 (DEPT6) en het cluster ‘actororiëntaties’. De twee organisaties verschillen op vier van de zes condities die dit cluster telt (wanneer INTALP1 een score ‘1’ heeft op een bepaald kenmerk, behaalt DEPT6 een ‘score 0’, en vice versa). Men herhaalt deze oefening voor elk van de vier clusters.

Stap 2: Wat zijn meest gelijkende of meest verschillende paren van casussen?

Nadat we de Booleaanse afstand voor elk paar casussen kennen, kunnen we de minimumafstand berekenen die we observeren tussen casussen met een verschillende uitkomst voor evaluatieregelmaat, en de maximumafstand voor de casussen met eenzelfde evaluatieregelmaat. De grootste gemeten Booleaanse afstand tussen casussen uit dezelfde uitkomstgroep (wel versus geen regelmatige evaluatie) voor een bepaald cluster kenmerken wordt gedefinieerd als ‘niveau 0’ van verschil. Het eerder vermelde koppel van organisaties 12 en 18 is een dergelijk paar voor het cluster ‘institutionele kenmerken’ (cluster 1). De organisaties verschillen op vijf van de zeven condities voor dit cluster. Geen van beide evalueert regelmatig. Er zijn geen andere casussen die voor meer condities verschillen. Voor het cluster ‘institutionele kenmerken’ stellen we nu dat paren die voor vier condities een andere score halen op ‘niveau 1’ van elkaar verschillen (5 – 1 = 4), enzovoort. Voor de mate van gelijkenis tussen casussen uit verschillende uitkomstgroepen wordt eenzelfde procedure gevolgd, maar dan in omgekeerde richting (De Meur, 1996).
De vergelijkingen vinden steeds plaats per cluster van kenmerken (condities). Casusparen kunnen voor het ene cluster sterk gelijkend zijn, en voor een ander niet. Figuur
1 biedt een overzicht van de niveaus van gelijkenis en verschil voor alle clusters. Voor de berekening hanteerde ik specifieke software (beschikbaar via www.jchr.be/01/beta.htm; laatst geraardpleegd op 5 september 2014).

Figuur 1: Niveaus van gelijkenis en verschil. Output gegenereerd door MDSO/MSDO-software, versie 8 juli 2006 (ontwikkeld door G. De Meur).

De figuur is onderverdeeld in drie zones, met MDSO voor evaluatieregelmaat, MDSO voor gebrek aan evaluatieregelmaat en MSDO voor aanwezigheid versus afwezigheid van evaluatieregelmaat. Zoals blijkt uit figuur 1 verschillen de casussen 12 en 18 op het hoogste niveau (niveau 0) voor clusters 1 (institutionele kenmerken) en 3 (pad van de organisatie). Voor cluster 0 (actororiëntaties) verschillen de twee organisaties op het op één na hoogste niveau (niveau 1). Voor cluster 2 (taakkarakteristieken) zijn de organisaties meer gelijkend dan verschillend (vandaar het ‘dash’-symbool). De grens tussen verschil en gelijkenis ligt op de helft van het aantal condities per cluster. Welke paren van casussen moeten we nu als meest verschillend of gelijkend beschouwen? In het beschreven onderzoek hanteerde ik een vrij conservatieve visie om de lange lijst van twintig condities zo veel mogelijk te reduceren voor verder onderzoek. Ik selecteerde enkel de paren van casussen die voor het hoogste aantal clusters van condities verschilden op niveau 0 of niveau 1. Men kan ook ‘lagere’ niveaus in rekening brengen, maar dit zal een impact hebben op het aantal condities met verklarend potentieel die men overhoudt. Hoe meer condities, hoe uitgebreider en complexer het vervolgonderzoek zal zijn. Ik adviseer te starten met een beperkte lijst van condities. Uitbreiding is steeds mogelijk indien men niet tot een voldoende verklaring komt.

Stap 3: Welke condities hebben het meest verklarende potentieel?

Zodra de meest markante paren zijn geselecteerd in elke zone, kan de selectie van verklarende condities zeer vlot verlopen. Voor de zone MDSO voor evaluatieregelmaat kijken we op welke condities de meest verschillende paren toch eenzelfde uitkomst halen. We herhalen dezelfde strategie voor de zone MDSO voor de organisaties zonder evaluatieregelmaat. Voor de zone MSDO zoeken we naar de condities waarvoor de meest gelijkende paren toch een verschillende uitkomst halen. Bijvoorbeeld: om te begrijpen waarom de casussen 12 en 18 toch evaluatieregelmaat missen, vergelijken we de condities in clusters 0, 1 en 3, en zoeken we naar condities waarvoor deze meest gelijkende casussen toch verschillen. Op deze wijze identificeerde ik de condities ‘aanwezigheid van evaluatievraag van organisatiemanagement’, ‘aanwezigheid van steun voor evaluatie binnen de organisatie’ en ‘afwezigheid van Vlaamse en EU-evaluatieverplichtingen’ als meest relevant voor dit paar. In mijn onderzoek selecteerde ik alle condities die ten minste tweemaal werden vermeld over de meest gelijkende of verschillende paren heen, en die consistent met dezelfde uitkomst overeenkwamen. Of men al dan niet deze vrij restrictieve selectiecriteria hanteert, is opnieuw afhankelijk van de doelstelling van de onderzoeker. Hoeveel condities wil men uiteindelijk overhouden? Tabel 2 geeft het overzicht van condities die we, op basis van het voorbeeld, aan een verdere diepgaande kwalitatieve analyse zouden moeten onderwerpen.

Tabel 2: Condities met sterkst verklarend potentieel; resultaat MDSO/MSDO-analyse

  1. Evaluatievragen van organisatiemanagement
  2. Evaluatievragen van sector minister en zijn/haar adviseurs
  3. Evaluatievragen vanuit het parlement
  4. Evaluatievragen van andere organisaties
  5. Evaluatieverplichtingen opgelegd door EU-instituties
  6. Media en parlementaire aandacht voor de organisatie

Merk op dat niet alle condities die ‘noodzakelijk’ zijn voor evaluatieregelmaat of de afwezigheid ervan ook automatisch als relevant worden geïdentificeerd in de MDSO/MSDO-methode. In het cluster ‘pad van de organisatie’ bijvoorbeeld, scoren alle casussen met evaluatieregelmaat een ‘1’ op de conditie ‘evalueerde voor de 2006-hervormingen’. Deze conditie kan bijgevolg als een noodzakelijke voorwaarde worden beschouwd voor evaluatieregelmaat. Toch wordt deze conditie niet geïdentificeerd in de MDSO/MSDO-analyse. Noodzakelijke voorwaarden verschillen immers ook in relevantie. Cruciaal is in welke mate een noodzakelijke conditie empirisch wordt vastgesteld bij de casussen zonder én met evaluatieregelmaat (de zogenaamde ‘coverage’-score van een noodzakelijke voorwaarde). Niet alleen de casussen met evaluatieregelmaat evalueerden voor 2006. Ook veel casussen zonder evaluatieregelmaat deden dit. De genoemde noodzakelijke conditie kan bijgevolg als triviaal worden beschouwd. De actueel verklarende waarde is klein.

Conclusie

De assumpties achter MDSO/MSDO gaan terug tot de alom gekende methoden van verschil en overeenkomst van J.S. Mill. Niettemin zijn toepassingen schaars. De methode heeft nochtans veel potentieel. Ze is uitermate geschikt om uit een lange lijst factoren die factoren te identificeren met wellicht de meest verklarende kracht. De techniek laat toe factoren van totaal verschillende aard op te nemen via een clustering van condities. Het gebruik van Booleaanse methoden, eigen aan de familie van configurationele comparatieve technieken, kan mogelijk afschrikken. De methode vraagt elke casus te vertalen in een combinatie van gecodeerde 0- of 1-condities en een uitkomst. Hoewel dit leidt tot een simplificatie van de realiteit, maakt dit wel mogelijk de casussen op een zeer systematische manier met elkaar te vergelijken. Het is nog steeds aan de onderzoeker om te interpreteren of de door de MDSO/MSDO-techniek geïdentificeerde condities daadwerkelijk relevant zijn. Zoals de grondleggers van de techniek stellen:

‘[The technique] should never be applied in a pure mechanical way (…) The procedure proposed is thus only a useful but limited tool, like an X ray or some other diagnostic device, in the “dialogue between theory and data”.’ (De Meur, 1996: 426).

De condities die de techniek helpt te identificeren, leggen geen causale mechanismen bloot, maar associaties met een bepaalde uitkomst. Within-case-analysetechnieken zijn noodzakelijk om het daadwerkelijke causale verband bloot te leggen.

Vorige Inhoudsopgave Volgende
Twitter Facebook Linkedin
Delen Print PDF

Literatuur

  • Campbell, D.T. (1975). III. ‘Degrees of freedom’ and the case study. Comparative Political Studies, 8(2), 178-193.
  • De Meur, G. (1996). La comparaison des systèmes politiques: recherche des similarities et des differences. Revue Internationale de Politique Comparée, 3(2), 405-437.
  • De Meur, G. & Berg-Schlosser, D. (1994). Comparing political systems: establishing similarities and dissimilarities. European Journal of Political Research, 26(2), 193-219.
  • De Meur, G. & Gottcheiner, A. (2009). The logic and assumptions of MDSO/MSDO designs. In D. Byrne & C.C. Ragin (Eds.), The Sage handbook of case-based methods (pp. 208-221). London: Sage.
  • Mill, J.S. (1973 [1843]). Of the four methods of experimental inquiry, chapter VIII. In The collected works of John Stuart Mill (Vol. VII – A system of logic ratiocinative and inductive). London: Routledge & Kegan Paul.
  • Pattyn, V. (2014a). Policy evaluation (in)activity unravelled. A configurational analysis of the incidence, number, locus and quality of policy evaluations in the Flemish public sector. Proefschrift KU Leuven.
  • Pattyn, V. (2014b). Explaining variance in policy evaluation regularity. The case of the Flemish public sector. Public Management Review. DOI: 10.1080/14719037.2014.943270.
  • Ragin, C.C. & Becker, H.S. (1992). What is a case? Exploring the foundations of social inquiry. Cambridge: Cambridge University Press.
  • Verweij, S. & Gerrits, L.M. (2012). Systematische kwalitatieve vergelijkende analyse. KWALON 51, 17(3), 25-33..

© 2009-2019 Uitgeverij Boom Amsterdam


De artikelen uit de (online)tijdschriften van Uitgeverij Boom zijn auteursrechtelijk beschermd. U kunt er natuurlijk uit citeren (voorzien van een bronvermelding) maar voor reproductie in welke vorm dan ook moet toestemming aan de uitgever worden gevraagd:


Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch door fotokopieën, opnamen of enig andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikelen 16h t/m 16m Auteurswet 1912 jo. Besluit van 27 november 2002, Stb 575, dient men de daarvoor wettelijk verschuldigde vergoeding te voldoen aan de Stichting Reprorecht te Hoofddorp (postbus 3060, 2130 KB, www.reprorecht.nl) of contact op te nemen met de uitgever voor het treffen van een rechtstreekse regeling in de zin van art. 16l, vijfde lid, Auteurswet 1912. Voor het overnemen van gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16, Auteurswet 1912) kan men zich wenden tot de Stichting PRO (Stichting Publicatie- en Reproductierechten, postbus 3060, 2130 KB Hoofddorp, www.cedar.nl/pro).

No part of this book may be reproduced in any way whatsoever without the written permission of the publisher.

Nummer 3, november 2018, jaargang 23

ABONNEER je nu NIEUWSTE nummer VORIGE nummers

Privacy policy

Algemene voorwaarden

© 2009-2019
Boom uitgevers Amsterdam

  

Abonnementenadministratie

Boom uitgevers Amsterdam B.V.

Postbus 15970

1001 NL Amsterdam

Nederland

(020) 520 01 20

abonnementen@bua.nl

Boom uitgevers Amsterdam

Prinsengracht 747

1017 JX Amsterdam

telefoon: (020) 521 89 32

klantenservice@boomamsterdam.nl