Een oorzaak-gevolgrelatie vaststellen
Hoe stellen we een oorzaak-gevolgrelatie (causaal verband) vast? Aan welke criteria moeten we voldoen? Over het algemeen zijn er drie criteria waaraan je moet voldoen voordat je kunt zeggen dat je bewijs hebt voor een oorzakelijk verband:
Temporele voorrang
Eerst moet je kunnen aantonen dat je oorzaak zich vóór je gevolg heeft voorgedaan. Klinkt makkelijk, hè? Natuurlijk moet mijn oorzaak vóór het gevolg komen. Heb je ooit gehoord dat een gevolg voor zijn oorzaak komt? Voor we ons verliezen in de logica hier, neem een klassiek voorbeeld uit de economie: veroorzaakt inflatie werkloosheid? Het lijkt zeker aannemelijk dat naarmate de inflatie toeneemt, meer werkgevers tot de ontdekking komen dat zij, om de kosten te dekken, werknemers moeten ontslaan. Het lijkt er dus op dat inflatie, althans gedeeltelijk, een oorzaak van werkloosheid zou kunnen zijn. Maar zowel inflatie als werkgelegenheidscijfers doen zich voortdurend samen voor. Is het mogelijk dat schommelingen in de werkgelegenheid de inflatie kunnen beïnvloeden? Als de beroepsbevolking toeneemt (d.w.z. de werkloosheid daalt), kan de vraag naar goederen toenemen, waardoor de prijzen stijgen (d.w.z. stijgen), tenminste totdat het aanbod de inflatie kan bijbenen. Dus wat is de oorzaak en wat het gevolg, inflatie of werkloosheid? Het blijkt dat in een dergelijke cyclische situatie waarin sprake is van voortdurende processen die op elkaar inwerken, beide elkaar kunnen veroorzaken en op hun beurt door elkaar kunnen worden beïnvloed. Dit maakt het erg moeilijk om in deze situatie een oorzakelijk verband vast te stellen.
Covariatie van oorzaak en gevolg
Wat betekent dit? Voordat je kunt aantonen dat je een oorzakelijk verband hebt, moet je eerst aantonen dat je een soort relatie hebt. Neem bijvoorbeeld het syllogisme:
als X dan Y
als niet X dan niet Y
Als je waarneemt dat wanneer X aanwezig is, Y ook aanwezig is, en wanneer X afwezig is, Y ook, dan heb je aangetoond dat er een relatie is tussen X en Y. Ik weet niet hoe het met jou zit, maar soms vind ik het niet gemakkelijk om over X’en en Y’en na te denken. Laten we ditzelfde syllogisme eens in programma-evaluatietermen formuleren:
als programma dan resultaat
als niet programma dan niet resultaat
Of, in spreektaal: als je een programma geeft, observeer je het resultaat, maar als je het programma niet geeft, observeer je het resultaat niet. Dit bewijst dat er een verband bestaat tussen het programma en het resultaat. Merk echter op dat dit syllogisme geen bewijs levert dat het programma het resultaat veroorzaakte – misschien was er een andere factor aanwezig bij het programma die het resultaat veroorzaakte, in plaats van het programma. De tot nu toe beschreven relaties zijn eerder eenvoudige binaire relaties. Soms willen we weten of verschillende hoeveelheden van het programma leiden tot verschillende hoeveelheden van het resultaat – een continue relatie:
als meer van het programma dan meer van het resultaat
als minder van het programma dan minder van het resultaat
Geen plausibele alternatieve verklaringen
Omdat je laat zien dat er een relatie is, wil dat nog niet zeggen dat het een causale relatie is. Het is mogelijk dat er een andere variabele of factor is die de uitkomst veroorzaakt. Dit wordt soms het “derde variabele” of “ontbrekende variabele” probleem genoemd en het is de kern van het probleem van de interne validiteit. Wat zijn enkele van de mogelijke plausibele alternatieve verklaringen? Kijk maar eens naar de bedreigingen voor de interne validiteit (zie single group threats, multiple group threats of social threats) – elk daarvan beschrijft een type alternatieve verklaring.
Om te kunnen stellen dat je interne validiteit hebt aangetoond – dat je hebt aangetoond dat er een oorzakelijk verband is – moet je de plausibele alternatieve verklaringen “uitsluiten”. Hoe doe je dat? Een van de belangrijkste manieren is met je onderzoeksopzet. Laten we eens kijken naar een eenvoudige bedreiging van de interne validiteit door een enkele groep, een historische bedreiging. Laten we aannemen dat u uw programmagroep meet voordat ze aan het programma beginnen (om een basislijn vast te stellen), u geeft ze het programma, en u meet hun prestaties daarna in een posttest. Je ziet een duidelijke verbetering in hun prestaties, waarvan je zou willen afleiden dat die veroorzaakt is door je programma. Een van de plausibele alternatieve verklaringen is dat je een historische bedreiging hebt – het is niet jouw programma dat de winst heeft veroorzaakt, maar een andere specifieke historische gebeurtenis. Bijvoorbeeld, het is niet uw anti-rook campagne die de vermindering van het roken veroorzaakt maar eerder het laatste rapport van de Surgeon General dat toevallig werd gepubliceerd tussen het moment dat u uw pretest en posttest gaf. Hoe kunt u dit uitsluiten met uw onderzoeksopzet? Een van de eenvoudigste manieren zou zijn om gebruik te maken van een controlegroep – een groep die vergelijkbaar is met je programmagroep met als enige verschil dat zij het programma niet hebben ontvangen. Maar ze hebben wel het laatste rapport van de Surgeon General ervaren. Als je ontdekt dat zij niet minder zijn gaan roken, ook al hebben ze hetzelfde rapport van de Surgeon General gelezen, dan heb je het rapport van de Surgeon General “uitgesloten” als een plausibele alternatieve verklaring voor waarom je een vermindering van het roken hebt waargenomen.
In het meeste toegepaste sociale onderzoek waarbij programma’s worden geëvalueerd, is temporele precedentie geen moeilijk criterium om aan te voldoen, omdat je het programma uitvoert voordat je de effecten meet. En, het vaststellen van covariatie is relatief eenvoudig omdat je enige controle hebt over het programma en je de dingen zo kunt instellen dat je sommige mensen hebt die het krijgen en sommige die het niet krijgen (als X en als niet X). Het moeilijkste criterium om aan te voldoen is meestal het derde, namelijk het uitsluiten van alternatieve verklaringen voor het waargenomen effect. Daarom is de onderzoeksopzet zo’n belangrijk punt en is deze nauw verbonden met het idee van interne validiteit.