Kanskapitalisatie

Gewoonlijk vindt onderzoek niet plaats met slechts één of twee aan elkaar te relateren variabelen. Meestal worden veel meer aspecten tegelijkertijd gemeten. Vaak worden tussen die meetgegevens  tientallen, regelmatig honderdtallen en soms zelfs enkele duizenden statistische analyses uitgevoerd worden. Het zal niemand verwonderen dat er dan ook analyseresultaten zijn die 'toevallig'statistisch significant zijn; oftewel: hoe meer analyses er uitgevoerd worden des te groter is de kans dat er een statistisch significant resultaat tussen zit. De Groot (1961) noemt dit kanskapitalisatie.

Er is wel eens gesteld dat er bij toetsing op een significantieniveau van 5% één op de twintig statistische analyses 'toevallig' een significant resultaat oplevert, en dat dit bij toetsing op 1% één op de honderd is. Naar onze ervaring klopt dat niet helemaal. Mogelijk is deze regel wel geldig als men toevalcijfers aan de variabele toekent, maar in onderzoek wordt veel waarde gehecht aan de validiteit van de gegevens waardoor de verkregen data niet betekenisloos zijn. De gevonden significante verschillen zijn theoretisch - vooraf dan wel achteraf - meestal goed te verklaren. Vaak vindt de onderzoeker reeksen significante verschillen en reeksen niet-significante verschillen. Het wil wel eens voorkomen dat in een reeks niet-significante verschillen één aspect net wel significant is, maar uit het grote geheel zal de onderzoeker tot de slotsom komen dat er weliswaar een significant verschil is gevonden maar dat dat verschil niet relevant is. Het is een toevalstreffer geweest dat er een statistisch significant verschil is geconstateerd.

Met name in wetenschappelijk onderzoek is het belangrijk dat de onderzoeker significante verschillen vindt. (In de wetenschap wordt veel belang gehecht aan significante uitkomsten; onderzoek met niet significante resultaten komt vaak niet in aanmerking voor publicatie.) Wetenschappelijk onderzoekers hebben dan ook de neiging om zoveel mogelijk variabelen mee te nemen in het onderzoek onder het mom van 'het zou wel eens belangrijk kunnen zijn'. Dergelijk exploratief onderzoek naar verbanden leidt tot een grotere kans op het vinden van significante verschillen. Hier is dus duidelijk sprake van het verhogen van de kansen op statistisch significante resultaten die mogelijk te wijten zijn aan het riro-effect.

De kans op het vinden van statistisch significante verschillen wordt ook beïnvloed door het aantal onderzoekseenheden (mensen, dieren, planten, objecten) dat aan het onderzoek deelneemt. De steekproefgrootte is van groot belang. Is de steekproef (te) groot  dan vindt de onderzoeker veel meer statistisch significante verschillen dan wanneer de steekproef (te) klein is. Het vooraf vaststellen van de steekproefgrootte is van eminent belang.

Tenslotte moet vermeld worden dat toevallige statistisch significante resultaten ook veroorzaakt kunnen worden door onzuivere meetinstrumenten. Dat zijn meetinstrumenten die veel last hebben van bias, of waar de validiteit en de betrouwbaarheid te wensen overlaat.

Copyrights

© Foeke van der Zee / BMOOO - Woordenboek onderzoek, methodologie en statistiek

Meer MOA


Kennispartners van Daily Data Bytes

MOA is een

CRKBO Instelling CMYK

Contact

MOA, Expertise Center voor Marketing-insights, Onderzoek & Analytics

VIDA-gebouw
Kabelweg 57, 2e verdieping
1014 BA Amsterdam
+31 20 5810710
Dit e-mailadres wordt beveiligd tegen spambots. JavaScript dient ingeschakeld te zijn om het te bekijken.