Over betrouwbaarheid van kwalitatief onderzoek wordt vaak in termen gesproken die uit de statistiek afkomstig zijn. Dat er desondanks – ook bij grote steekproeven die representatief zijn – uitkomsten mogelijk zijn die onjuist lijken is niet verwonderlijk. Hoe vaak doen wij mee aan een onderzoek waarbij de vragen niet allemaal even relevant lijken?
Een experiment zou kunnen verduidelijken hoe dit mogelijk is. Geef 2 onderzoekers een briefing wat je wil onderzoeken en laat ze een aanpak en vragenlijst ontwikkelen. Bestudeer de aanpak en vragenlijsten en stel je de vraag of deze vergelijkbare resultaten zouden opleveren. De invloed n=1 van de onderzoeker blijkt ook bij representatief onderzoek met grote steekproeven aanzienlijk. Bij regelmatig terugkerend onderzoek wordt goed onderzocht of wat gemeten wordt wel werkelijk van belang is voor de respondent en wat je wil weten. Maar bij ad hoc onderzoek vergt dat een investering die nogal eens wordt overgeslagen en kunnen resultaten van vergelijkbare onderzoeken in strijd met elkaar zijn. Bij kwalitatief (kleinschalig) onderzoek zijn andere valkuilen. De respondent kan in eigen bewoordingen ingaan op de vraag zoals deze zelf wil. Het is zelfs mogelijk een totaal andere weg in te slaan dan de onderzoeker van tevoren bedacht heeft. Dus als de interviewer goed zijn werk doet heeft de respondent na het interview in ieder geval het gevoel zijn zegje gedaan te hebben over het onderwerp. En aan het eind van de veldwerkperiode zijn gezichtspunten van respondenten gepasseerd die zeer divers of juist zeer eensluidend kunnen zijn. Het is belangrijk deze niet te veralgemeniseren naar de populatie toe (zeker niet bij een diversiteit aan verschillende denkrichtingen). Aan de ander kant kan de ervaring of mening van één enkele klant aanleiding zijn een aanpassing te doen omdat het (bijvoorbeeld) een onacceptabele ervaring is. De aard van de verzamelde informatie bij kwalitatief onderzoek is geheel anders dan als je meet en er moet ook anders mee worden omgesprongen.
Validiteit en betrouwbaarheid
Het is goed mogelijk een onderzoek te doen met een n=5 dat volledig valide is. Als er bijvoorbeeld 5 belangrijke klanten zijn in Nederland van een internationaal bedrijf en je interviewt ze allemaal dan is je onderzoek valide. Of het ook betrouwbaar is hangt van veel meer factoren af. Bijvoorbeeld of je de juiste vragen stelt in het kader van de onderzoeksvraag. Of je geen sturende vragen gesteld hebt. Of de experts voldoende ruimte hebben hun verhaal te doen.
Bij een n=20 die gekozen zijn uit een groep van honderdduizenden ben je vooral op zoek naar een diversiteit van meningen die een beeld geven van hetgeen leeft onder de populatie. Als je iets wil weten over de betrouwbaarheid van kwalitatief onderzoek in dat specifieke geval zal je de resultaten moeten kwantificeren. Op die wijze kan je onderzoeken hoe vaak iedere mening die je gehoord hebt representatief is voor de populatie. Toch wordt kwalitatief onderzoek vaak gebruikt voor beleidsbeslissingen zonder kwantitatieve onderbouwing omdat de context bij een mening veel ruimte krijgt. Dat geeft een extra dimensie die inzicht verhogend kan werken. Met de enorme groei van kwantitatieve data die voorhanden is groeit ook de behoefte aan duiding.
Tricia Wang legt in een Ted talk uit waarom kwantitatieve data en kwalitatieve data elkaar aanvullen en meer waardevol maken. Over ‘big data’ en ’thick data’ met als voorbeelden Nokia en Netflix:
