Twee maanden geleden publiceerde Clinical Infectious Diseases (CID), een tijdschrift met een hoge impact, een onderzoek genaamd “Efficacy of Cognitive-Behavioral Therapy Targeting Severe Fatigue Following Coronavirus Disease 2019: Results of a Randomized Controlled Trial.” De studie, die de bijnaam ReCOVer kreeg en werd uitgevoerd in Nederland, beweerde het “eerste bewijs te leveren voor het positieve effect van CGT bij patiënten met ernstige post-COVID-19 vermoeidheid.” De studie kreeg wijdverspreide aandacht en werd geloofwaardig uitgelicht in sociale media en nieuwsartikelen, waaronder een recent artikel in Slate.

De 114 proefpersonen werden gerandomiseerd om ofwel een 17 weken durende cursus CGT te ontvangen, genaamd Fit after COVID, of “care as usual” (CAU). Toen dit onderzoek een paar jaar geleden werd aangekondigd, merkte ik op dat het een niet-geblindeerd onderzoek was dat zich baseerde op subjectieve uitkomsten – een recept voor het genereren van een significante hoeveelheid vooringenomenheid. Met andere woorden, het was in wezen ontworpen om positieve bevindingen te produceren. En dat is ook gebeurd.

De primaire uitkomst was het gemiddelde verschil in zelfgerapporteerde vermoeidheid aan het einde van de behandeling en zes maanden later op een instrument genaamd de Checklist Individual Strength (CIS). De subschaal vermoeidheid van de CIS bevat acht vragen die elk gewaardeerd kunnen worden van 1 tot 7; de eindscores variëren van 8 tot 56, waarbij hogere scores duiden op grotere vermoeidheid. Het verschil in de gemiddelden tussen de twee groepen was respectievelijk 9,3 punten en 8,4 punten aan het einde van de therapie en zes maanden later. Op dat moment was de gemiddelde score 31,5 in de CGT-groep en 39,9 in de CAU-groep.

Zoals met zoveel onderzoek van de CGT-ideologische brigades, waren de resultaten minder dan je zou denken; het is onmogelijk om dat zomaar aan te nemen. Het zou niet moeilijk moeten zijn om te begrijpen dat als je een groep gedurende een aantal maanden ondersteunende en meelevende aandacht geeft van een sympathieke therapeut, de kans groter is dat ze positieve antwoorden geven op vragenlijsten dan leden van een groep die de interventie niet krijgen. Zelfs nog meer als je ze herhaaldelijk verzekert dat CGT bewezen heeft te werken bij dit soort aandoeningen, zoals vaak het geval is bij dit soort onderzoek.

Met andere woorden, de bevindingen zijn geen verrassing. Zoals ik in een recente post schreef, heeft het onderzoek aangetoond dat ongeblindeerde onderzoeken die vertrouwen op subjectieve uitkomsten, positieve resultaten opleveren. Van Amsterdam tot de Harvard Medical School zijn deze resultaten overdreven opgehemeld, ook al waren de zelfgerapporteerde voordelen vrij bescheiden – ruim binnen het bereik dat alleen al op basis van vertekening verwacht zou kunnen worden.

De auteurs merkten op dat zes punten wordt beschouwd als een klinisch significant verschil op de CIS-schaal voor vermoeidheid. Het verschil tussen de twee groepen lag dus maar net buiten wat als een klinisch significant verschil beschouwd zou worden. Toch beweerden de auteurs dat meer mensen uit de CGT-groep niet langer “ernstige” vermoeidheid hadden. Dat komt omdat een score van 35 werd aangewezen als de drempel tussen ernstige en minder ernstige vermoeidheid. Hoewel het waar is dat meer mensen in de CGT-groep aan die drempel voldeden, zou het verschil van 3,5 punt tussen het gemiddelde van 31,5 en de drempel van 35 niet als klinisch significant worden beschouwd. Evenmin als het verschil tussen die drempel en de gemiddelde score van 39,9 voor de CAU-groep.

Dus om het voor de hand liggende te herhalen: deze schijnbare voordelen van CGT zijn uiterst bescheiden, hoe je ze ook ontleedt.

Twee overtuigende gepubliceerde reacties – hier en hier – zijn de moeite waard om te lezen.

Een merkwaardige omissie in het gepubliceerde rapport deed de wenkbrauwen fronsen. Het onderzoeksprotocol vermeldde het primaire resultaat, verschillende secundaire resultaten en een categorie met de naam “andere onderzoeksresultaten”. Onder deze laatste was de enige objectieve meting: actigrafie. Bij actigrafie worden apparaten gedragen die de fysieke beweging over een bepaalde periode nauwkeurig meten. In dit geval droegen de deelnemers deze apparaten gedurende 14 dagen op de basislijn en gedurende 14 dagen aan het einde van de therapie. Volgens het protocol “is aangetoond dat de actigrafie een betrouwbaar en valide instrument is voor de beoordeling van fysieke activiteit”.

Het ontbreken van enige vermelding van deze gegevens in het artikel suggereerde dat de resultaten voor die metingen waarschijnlijk slecht waren. In hun reactie op de gepubliceerde commentaren erkenden de auteurs dat dit het geval was. Zoals ze schreven:

“Voorgestelde alternatieve uitkomsten, zoals fysieke activiteit beoordeeld met actigrafie of fysieke fitheid, zijn geen betrouwbare markers van vermoeidheid en worden ook beïnvloed door de perceptie van patiënten en subjectief ervaren symptomen. Onderzoek toonde aan dat een aanzienlijk aantal patiënten met ernstige vermoeidheid geen afwijkend niveau van lichamelijke activiteit heeft. Dit werd ook gevonden in onze steekproef, d.w.z. 81% van de deelnemers had een fluctuerend actief activiteitenpatroon en slechts 19% had een laag actief activiteitenpatroon. Vermindering van vermoeidheid leidt niet noodzakelijkerwijs tot hogere niveaus van objectieve fysieke activiteit of omgekeerd. Verminderde vermoeidheid gaat ook niet noodzakelijk samen met een verbeterde aerobe capaciteit. In onze studie was er geen significant verschil tussen de condities in de toename van fysieke activiteit beoordeeld met actigrafie.”

Voor de goede orde voegde een van de co-auteurs, Dr. Chantal Rovers, nog een excuus toe in op Twitter: “Je hebt altijd meer gegevens dan binnen de woordlimiet van medische tijdschriften past. Primaire en secundaire uitkomstmaten zijn opgenomen. Het plan was om de andere resultaten in een apart artikel te publiceren, zoals heel gebruikelijk is.”

**********

Het ontkrachten van smoesjes voor het niet verstrekken van objectieve gegevens

Is een van deze redeneringen steekhoudend? Nee. Laten we ze stuk voor stuk bekijken

• Eerdere studies hebben aangetoond dat actigrafieresultaten niet overeenkomen met de zelfrapportages van patiënten over hun vermoeidheidsniveaus. Daarom zijn ze irrelevant.

Het is waar dat eerdere studies van deze en andere auteurs hebben gevonden dat positieve rapporten over subjectieve maten van vermoeidheid niet gepaard gaan met overeenkomstige toenames in fysieke activiteit, zoals objectief gemeten door actometers die gedurende een periode gedragen worden. De schijnbare conclusie die deze onderzoekers trekken – dat de actigrafieresultaten kunnen worden afgedaan als niet gerelateerd aan vermoeidheid – is belachelijk en duidelijk uit eigenbelang.

De Nederlandse onderzoekers hebben deze strategie geperfectioneerd door objectieve metingen op te nemen en deze pas te rapporteren lang nadat ze al aandacht hebben gekregen voor hun artikelen waarin ze de positieve bevindingen op subjectieve metingen benadrukken. Dit gebeurde in drie onderzoeken in de jaren 2000 naar CGT voor wat zij CVS noemden. Jaren later publiceerden de onderzoekers de nietszeggende actigrafiebevindingen van alle drie de onderzoeken en concludeerden ze – gelukkig maar – dat de vermindering van vermoeidheid niet gemedieerd werd door een toename in lichamelijke activiteit. Recenter haalden ze dezelfde stunt uit met een onderzoek naar Q-koorts.

Met andere woorden, ze accepteerden enthousiast de nauwkeurigheid van subjectieve verslagen van verbeteringen en verwierpen het belang van het onbetwistbare feit dat patiënten niet meer fysieke activiteit gingen uitoefenen – ook al verklaarden ze dat het doel hiervan is om de invaliditeit die met de aandoening gepaard gaat te verminderen. Deze discrepantie is nu veranderd in de botte bewering – het dogma eigenlijk – dat objectieve metingen van lichamelijke activiteit geen verband houden met de constructie van vermoeidheid. Het enige dat telt is de zelfrapportage – of mensen daadwerkelijk meer doen is irrelevant zolang ze maar zeggen dat ze minder vermoeid zijn. Het is moeilijk om te weten hoe je op zo’n absurd, op eigenbelang berustend argument moet reageren, behalve door erop te wijzen dat het absurd en op eigenbelang berustend is.

• De meeste patiënten hadden fluctuerende activiteitenniveaus in plaats van continu lage activiteitenniveaus, dus de actigrafiemetingen konden niet echt een verbetering laten zien bij deze patiënten.

Ten eerste, het weglaten van belangrijke bevindingen wordt gerechtvaardigd door het feit dat ze informatie geven over de niveaus van lichamelijke activiteit op de basislijn die ze niet in het onderzoek zelf presenteerden. We hebben geen idee wat ze bedoelen met “fluctuerende activiteitsniveaus” – vermoedelijk waren deze gebaseerd op de actigrafiemetingen op de basislijn – en ons wordt gevraagd hen op hun woord te geloven op basis van gegevens die niet door vakgenoten zijn beoordeeld en die we niet hebben gezien.

Afgezien van deze methodologische complicatie is het argument vreemd: Tenzij mensen 24 uur per dag actief zijn, is het onzinnig om te stellen dat ze niet meer zouden kunnen doen en dat actigrafie geen saillante informatie zou geven. En dit punt gaat ook voorbij aan het voor de hand liggende omgekeerde – dat patiënten het veel slechter zouden kunnen doen in één of beide studiearmen. Als patiënten een hoog activiteitenniveau hebben en terugvallen met of zonder CGT, dan zou de actigrafie dat waarschijnlijk documenteren. Deze auteurs zijn zo overtuigd van hun eigen theorievorming dat ze niet lijken te begrijpen dat metingen ontworpen zijn om zowel achteruitgang in gezondheidsstatus als verbeteringen vast te leggen.

• De actigrafie was geen primaire of secundaire uitkomst, dus we hoefden niet alle bevindingen te rapporteren in dit eerste artikel.

Kom op! Echt waar? Dit is misschien wel mijn favoriete valse rechtvaardiging. De nulresultaten op deze objectieve uitkomst roepen onvermijdelijk vragen op over de geldigheid en betrouwbaarheid van de subjectieve primaire en secundaire metingen. Onderzoekers hebben een verplichting, vastgelegd in ethische codes voor onderzoek, om alle saillante gegevens te verstrekken en geen informatie te verbergen die vragen oproept over hun bevindingen of die de interpretaties ervan verandert. Het is onmogelijk om met een uitgestreken gezicht te beweren – hoewel het Nederlandse team het heeft geprobeerd; misschien ontbreekt het hen aan gevoel voor humor en ironie – dat een objectieve functiemeting zoals actigrafie zinloos is, zelfs als de resultaten subjectieve rapporten tegenspreken.

Als de actigrafieresultaten geweldig waren geweest – als ze hadden aangetoond dat patiënten hun activiteitsniveaus verhoogden – gelooft dan iemand serieus dat de onderzoekers de gegevens uit het eerste onderzoeksrapport zouden hebben achtergehouden op grond van het feit dat het geen primair of secundair resultaat was?

Hoe dan ook, het waren de onderzoekers zelf die besloten om hun enige objectieve meting geen primaire of secundaire uitkomst te laten zijn, vermoedelijk omdat ervaringen uit het verleden aantoonden dat de bevindingen de subjectieve beweringen waarschijnlijk zouden tegenspreken. Dus om deze twijfelachtige beslissing aan te halen als de reden om deze bevindingen opzettelijk achter te houden is uiterst vals. Er is een enorme hoeveelheid brutaliteit voor nodig – zoals in het klassieke verhaal van iemand die zijn ouders vermoordt en dan als wees om genade smeekt.

Bovendien, als activiteitenniveaus “fluctueren” en de actigrafiegegevens die gedurende 12 dagen zijn verzameld daarom twijfelachtig zijn, waarom zouden we dan aandacht besteden aan subjectieve meldingen van vermoeidheid uit acht items op een enkele vragenlijst? Ik begrijp het niet. Met hun argument over fluctuerende niveaus zouden alle onderzoeksgegevens als irrelevant en betekenisloos moeten worden beschouwd.

Hoe zit het met het argument dat ze gewoon te veel gegevens hadden voor één artikel en dus begrijpelijkerwijs een deel opzij moesten zetten voor toekomstige publicaties? Dit standpunt neemt een vanzelfsprekend feit van wetenschappelijk onderzoek en verdraait het om het niet rapporteren van belangrijke gegevens te rechtvaardigen. Onderzoekers willen altijd meer publicaties uit een enkel onderzoek persen – dat is prima. Wat niet goed is, is het weglaten van informatie die vragen oproept over je conclusie. De Nederlandse onderzoekers zien dat natuurlijk niet zo. Omdat ze geloven dat de actigrafiebevindingen geen waarde hebben bij het beoordelen van vermoeidheid, zien ze er geen probleem in om te wachten met het publiceren ervan tot een toekomstige datum.

Kortom, deze reacties zijn niet serieus. Het zijn zelfingenomen afleidingsmanoeuvres; of de auteurs ze nu geloven of niet, ze hebben zichzelf ontmaskerd als ongekwalificeerd en te ethisch uitgedaagd om zich überhaupt met onderzoek bezig te houden. Het is moeilijk te begrijpen hoe legitieme onderzoekers zich inlaten met zulke misleidende redeneringen.

Dr. Daniel Griffin, een specialist op het gebied van infectieziekten in het gebied rond New York en regelmatig te horen op de populaire podcast This Week in Virology (gepresenteerd door Vincent Racaniello, een professor microbiologie aan Columbia die ook de gastheer is van Virology Blog) was het ermee eens dat de beslissing om de objectieve bevindingen van actigrafie niet te rapporteren niet te rechtvaardigen is. Dit is wat hij te zeggen had:

“De kritiek is terecht. Het belangrijkste voor mij is dat we open en eerlijk zijn en geen gegevens ‘verbergen’ of negeren die onze agenda niet ondersteunen. Zoals we nu zien, kan iemand melden dat hij zich beter voelt. Maar als we geen toename in daadwerkelijke activiteit zien, is dat belangrijke informatie om te delen.”

David Tuller, DrPH. 11 juli 2023
Bron: https://virology.ws/2023/07/11/trial-by-error-dutch-team-offers-dog-ate-my-data-excuses-for-not-reporting-null-objective-findings/
Vertaling ME/cvs Vereniging