Hoe interpreteer je wetenschappelijk onderzoek?

Regelmatig zien we in de media opzienbarende berichten over de uitkomst van recent wetenschappelijk onderzoek. Soms is dat bericht afkomstig van een recent wetenschappelijk congres of een publicatie in een medisch vakblad. De berichtgeving van de onderzoekers is goed en genuanceerd, maar anderen gaan er mee aan de haal.

Dat kunnen bijvoorbeeld journalisten zijn, die immers ook niet allemaal een goede wetenschappelijke scholing hebben gehad, maar ook beleidsmakers of beleidsadviseurs omdat de framing hun goed uitkomt. Ik vond het tendentieuze bericht dat we vorige week via de publieke media tot ons kregen wel een mooi voorbeeld om u wat inzicht te geven in de beperkingen van onderzoek, ook al is dat heel goed uitgevoerd.

‘Hartoperatie niet per se nodig, medicatie werkt vaak net zo goed’, kopte de NOS. Als onnodige hartoperaties niet meer worden uitgevoerd, kan dat in de VS 500 miljoen euro besparen, was de conclusie in termen van geld. Dat klinkt als muziek in de oren van ‘zorgeconomen’ en zorgverzekeraars die maar al te graag wijzen op wat zij ‘niet-zinnige zorg’ noemen. Dit paste precies in hun straatje.

Laten we daarom samen eens kritisch kijken naar wat bekend is over het onderzoek. Het gaat over de ISCHEMIA studie (cardiologen houden van leuke acroniemen) waarvan de uitkomsten bekend werden gemaakt op het congres van de Amerikaanse cardiologen. Het onderzoek gaat over ruim 5000 patiënten met klachten ten gevolge van vernauwingen in de bloedvaten die het hart zelf van zuurstofrijk bloed voorzien, de kransslagaders. In dit onderzoek werden patiënten die stabiele klachten hadden ten gevolge van zuurstoftekort in de hartspier via loting verdeeld in twee groepen: een groep die behandeld werd met een behandeling via een hartkatheterisatie (wij noemen dit een PCI = percutaneous coronary intervention) of een hartoperatie waarbij omleidinkjes op de vernauwde bloedvaten (een CABG = coronary artery bypass graft) worden aangelegd.

De andere groep van patiënten werd zolang mogelijk alleen met medicijnen behandeld. Na een periode van ruim drie jaar bleek dat het niet uitmaakte voor de groepen als geheel hoe je aanvankelijk behandeld werd in termen van ernstige complicaties en overleving. Wel had de groep met de ingrepen de eerste zes maanden wat meer complicaties dan de medicamenteuze groep omdat ingrepen altijd gepaard gaan met complicaties, hoe gering ook het percentage. Daarentegen had de groep die met medicijnen behandeld werd wat meer complicaties op de langere termijn. In de niet-medische pers wordt dit alles makkelijk vertaald naar ‘medicamenteuze therapie even goed als operatie’ en ‘veel geld te besparen door onnodige operaties niet meer te doen’.

Klopt dit wel? Voorop gesteld, de onderzoekers rapporteren wat zij hebben gevonden, maar de vraag is, is dit wel ‘de waarheid’? Laat ik een voorbeeld geven. Ik heb een onderzoek gedaan naar auto’s. Ik vroeg geheel willekeurig voorbijgangers en automobilisten naar wat zij de mooiste en beste auto vonden. Ruim 90 van de 100 mensen die ik deze vraag stelde vonden een Renault de mooiste en beste auto. Maar zult u zich afvragen, klopt dat wel?

Welnu, wat ik niet vermeldde is dat het onderzoek gebeurde op de weg naar één van de Renault-garages. Nu snapt u wel hoe het kan. Er was dus sprake van een rare voorselectie van mensen bij wie ik dit onderzoekje deed. Zo is het ook met de ISCHEMIA studie. Die patiënten bij wie iedere cardioloog of hartchirurg sowieso wél een ingreep wil doen werden uitgesloten van het onderzoek. Dat waren bijvoorbeeld patiënten met ernstige vernauwing van de kransslagaders (groter dan 50 procent), of ernstig hartfalen, of pijn-op-de-borstklachten die toenemen. De studie gaat dus helemaal niet over de hele grote groep van patiënten bij wie tegenwoordig juist wel een ingreep wordt gedaan.

Daarnaast is het goed je te realiseren dat in de groep van patiënten die geloot hadden voor alleen een behandeling met medicijnen, toch nog 25 procent een ingreep onderging in de periode dat het onderzoek duurde. De Nederlandse cardiologen en hartchirurgen zijn dan ook helemaal niet verbaasd over de resultaten van de studie en handelen in feite al lang naar de uitkomsten van dit onderzoek. Nu snapt u ook dat de eerste zinnen van het persbericht van de NOS nogal wat nuance missen, nuance die de journalist ook in het vervolg onvoldoende geeft. Wat de NOS ook vergat te vermelden, is dat de kwaliteit van leven voor patiënten met symptomen verbeterde door een ingreep. Vreemd genoeg kreeg dat minder aandacht van de media en zorgeconomen.

Die toepasbaarheid van de uitkomsten van een wetenschappelijk onderzoek is sterk afhankelijk van de selectie van patiënten. Ook moet je er rekening mee houden dat artsen al een selectie maken van patiënten die kunnen meedoen aan de studie, voordat er wordt geloot voor een bepaalde behandeling. In mijn voorbeeld van de beste en mooiste auto kon u makkelijk begrijpen hoe een bias, een vooringenomenheid, tot bijzondere uitkomsten leidt.

Ik wens u veel plezier om in volgende mediaberichten over medische onderzoeken te ontdekken waar de ‘bias’ zit – zowel van de onderzoeker als de journalist – en hoe het zit met de externe validatie. Ik beschouw dat altijd als een leuke Sherlock Holmes-opdracht.