ADHS und Homöopathie – ein neuer Review. Was ist dran?

Auf Twitter schlug vor einigen Tagen ein Thread des kanadischen Gesundheitswissenschaftlers und Skeptikers Timothy Caulfield Wellen. Caulfield bezog sich auf ein systematisches Review zur ADHS-Behandlung mit individueller Homöopathie, insbesondere darauf, dass ein zur Springer Nature Publishing Group gehörendes Journal (Pediatric Research) dieses veröffentlicht hatte. Caulfield konstatierte, dass Homöopathie eine Methode ohne jegliche positive Evidenz sei (“scientifically absurd”) und äußerte Unverständnis darüber, wie so etwas überhaupt in einem so renommierten Journal erscheinen könne. Wo sei das Board of Editors gewesen, wie sei die Sache durch das Peer Review gekommen?

Dabei geht es um die Arbeit Gaertner, K., Teut, M. & Walach, H. Is homeopathy effective for attention deficit and hyperactivity disorder? A meta-analysis. Pediatr Res (2022). https://doi.org/10.1038/s41390-022-02127-3

Zudem entzündete sich Caulfields Kritik auch am Autorenteam, alles ausgewiesene Angehörige der homöopathischen Szene und mit dem nicht unbekannten Prof. Harald Walach als Senior Autor, einer Persönlichkeit, deren wissenschaftliches Renommee gerade in den letzten Pandemie-Jahren nicht gerade gewachsen ist. Aber wir wollen ja kein ad hominem in den Vordergrund rücken. – wenn auch die AutorInnen ihren „bias“ demonstrieren, indem sie gleich zu Anfang die Wirksamkeit der Homöopathie für eine ganze Reihe von Krankheitsbildern als Fakt hinstellen. Und dass in die Einleitung gleich auch noch die Falschbehauptung [1][2] eingeflochten wurde, die Prävalenz von ADHS (die Erkrankungshäufigkeit bezogen auf die Gesamtbevölkerung) steige stetig an, stimmt nicht unbedingt erwartungsvoller.

Und nicht zu vergessen: wer anerkennt, dass die Grundannahmen der Homöopathie wie ein generelles Ähnlichkeitsprinzip in der Natur und eine Wirkungsverstärkung durch Verschüttelung keine Geltung haben können, der kann empirische Ergebnisse auf dieser Basis auch nur als falsch-positiv bewerten. Zumal Herr Walach die „Wirkung“ der Homöopathie wiederholt als „nicht-materiell“ bezeichnet – also eigentlich aus dem Gegenstand wissenschaftlicher Forschung herausgerückt hat. Sich aber nun hier trotzdem  – wiederholt – an einem empirischen Beleg pro Homöopathie versucht.

Nun, wir können Caulfields Kritik an der Veröffentlichung als solcher durchaus nachvollziehen. Natürlich reflektiert er darauf, dass ja gerade „Nature“ besonders zu kritisieren sei wegen seiner skeptisch-kritischen Tradition. Nature ist groß gemacht worden vom legendären Herausgeber John Maddox, der seinerzeit die „Wassergedächtnis“-Experimente von Benveniste entzauberte und nach dem heute ein wichtiger Preis für das Eintreten gegen Pseudowissenschaften benannt ist. Und ja, es ist richtig, Homöopathie vom Grundsatz her zu kritisieren und über die medizinstatistische (Nicht-) Evidenz auch die grundlegende Unplausibilität der homöopathischen Grundannahmen in eine gesamtwissenschaftliche Beurteilung einzubeziehen. Wir erinnern uns an einen ähnlichen Vorgang, bei dem sich die Mutterzeitschrift auch selbst eingeschaltet hatte und es dann zu einem Zurückziehen der Arbeit kam („Die Legende von den fünfmal acht Ratten“).

Nun wird ein kleiner oder auch mittlerer Twitter-Sturm wenig Auswirkungen darauf haben, dass dieser Review veröffentlicht ist und real existiert und ohne jeden Zweifel als ein weiteres Aushängeschild für die homöopathische Szene dienen wird. Der Sache „beikommen“ wird man nur über eine genauere Analyse dieses Reviews.

Eine solche ist aktuell bereits auf dem Blog von Prof. Edzard Ernst erschienen – und lässt die Frage, wo das Editors Board den Kopf und die Reviewer ihre fünf Sinne hatten, als höchst berechtigt erscheinen.

Wir fassen zusammen:

Vorab sei erwähnt, dass die bisherige Evidenz zur homöopathischen Behandlung von ADHS (englisch: ADHD) mehr als mager war. Das negative Ergebnis eines in der Cochrane Library erschienenen Reviews (Coulter und Dean 2007) war bislang der Stand der Dinge. Dort kam man zu dem Ergebnis:

„Dieses Review zielte darauf ab, die Evidenz für die Homöopathie als Intervention bei Aufmerksamkeitsdefizit-/Hyperaktivitätsstörungen zu bewerten. Vier Studien wurden abgerufen und mit unterschiedlichen Ergebnissen bewertet.

Insgesamt fanden die Ergebnisse dieses Reviews keine Hinweise auf die Wirksamkeit der Homöopathie für die globalen Symptome, die Kernsymptome oder die damit verbundenen Auswirkungen der Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung.“

Schauen wir uns jedoch kritisch, aber unvoreingenommen einmal an, wie Gaertner et al. zu ihrem Ergebnis kommen, dass „die individualisierte Homöopathie eine klinisch relevante und statistisch robuste Wirkung bei der Behandlung von ADHS zeigte“.

Der Review, also die Aus- und Bewertung einschlägiger Studien, umfasste sechs Arbeiten, eine wurde wegen fehlenden data reportings (richtigerweise) vorab ausgeschlossen, weil eine Effektstärke nicht berechnet werden konnte. Gegenstand eines systematischen Reviews ist bekanntlich die kritische Bewertung („critical appraisal“) der eingeschlossenen Studien und das daraus zu ziehende Fazit. Sind die eingeschlossenen Arbeiten von Gaertner et al. ausreichend kritisch bewertet worden? Die Autoren halten selbst fest, dass “alle eingeschlossenen Studien individualisierte Homöopathie einsetzten und von vergleichbarer, solider Qualität waren, so dass ein Mangel an methodischer Strenge wahrscheinlich nicht der Grund für den Unterschied zwischen Homöopathie und Kontrollen ist…”. Man will also gleich von vornherein methodischer Kritik vorbeugen.

Aber ist das so?

Vielleicht doch nicht.

• • Die eigene Einstufung der Autoren sieht drei der sechs eingeschlossenen Arbeiten mit einem hohen Verzerrungsrisiko (high risk of bias) und eine weitere hinsichtlich des Bias-Risikos als „unklar“ (medium risk of bias) an. Das will schon einmal nicht so recht zu der „vergleichbaren soliden Qualität“ aller Studien passen.
  • Die Autoren schlossen zwei aktiv kontrollierte Studien ein, die beide keine Angaben zur Art der Behandlung der Kontrollgruppe enthielten (Filbert et al. 2016 und 2019). Mit anderen Worten: Diese Studien haben es versäumt, wichtige Daten zu berichten, was ein erklärtes Ausschlusskriterium war. Sie hätten also nach den eigenen Kriterien der Autoren gar nicht mit einbezogen werden dürfen. Außerdem ist die Vermutung berechtigt, dass der Arbeit Filbert et al. 2019 auch nur der Status einer Pilotstudie zukommt, die Autoren weisen selbst darauf hin, dass es um ein “feasibility-testing of two treatments and a methodology” gehe – also eine Art Machbarkeitsanalyse.
  • Eine der Arbeiten (Jacobs et al. 2005) war lediglich eine Pilotstudie, die nicht in ein systematisches Review gehört, und erbrachte zudem ein negatives Ergebnis. Die Angabe im Review, der Vergleich Verum / Placebo sei positiv für die Homöopathiegruppe ausgefallen, ist nach den Daten in der Originalarbeit nicht nachzuvollziehen.
  • Jones (2009) ist eine Dissertation (“thesis”), die man nicht als Studie werten kann, zudem ohne jedes peer review veröffentlicht.
  • Frei et al. (2005) ist wohlbekannt und vieldiskutiert,[3][4] eine Crossover-Studie (Wechsel der Therapie in den Gruppen), aus der eine Evidenz nur mit vieler Mühe und homöopathischem Blick herausgelesen werden könnte und die die methodischen Anforderungen an ein RCT allenfalls in der Crossover-Phase (einer von vier) erfüllen konnte.[5] Teils sprechen ihre Ergebnisse sogar gegen die Homöopathie. Entsprechend wurde diese Arbeit im erwähnten Review von Coulter & Dean (2007) auch bewertet, im Gegensatz dazu sprechen hier Gaertner et al. der Arbeit von Frei in allen von ihnen definierten Kriterien die höchste Qualitätsstufe zu.

Was bleibt? Die Arbeit von Oberai et al. aus 2013. In der Tat, diese hier weist auf den ersten Blick die größte Signifikanz (p-Wert 0,000, also so was wie das statistische Äquivalent der wahren Wahrheit …) und einen relevanten klinischen Effekt der homöopathischen Therapie auf. Und in der Tat, Oberai ist die „cash cow“ des Reviews, denn allein diese Studie ist ursächlich dafür, dass „insgesamt“ ein „positives Ergebnis“ berichtet wurde.

Deshalb hierauf ein näherer Blick.

• • Auch im Falle von Oberai et al. handelte es sich nur um eine (neun Jahre alte) Pilotstudie, der nie eine Hauptstudie gefolgt ist (oder eine solche nie zur Veröffentlichung kam).
  • Die Veröffentlichung erfolgte in einem etwas zweifelhaften Journal, das auch nicht mit den großen medizinischen Datenbanken wie MedLine assoziiert ist.
  • Das Reporting zur Studie ist sehr mager. So ist z.B. nicht ersichtlich, wie die ADHS-Diagnosen bei den PatientInnen verifiziert wurden. (Vergleichbar wären nur Fälle, in denen die Diagnosen strikt nach den Kriterien des ICD / des DSM, den internationalen Diagnoseklassifikationen, gestellt waren).
  • Die Kontrollgruppe erhielt ein Jahr lang ausschließlich Placebo. Wenn das kein ethisches Problem ist … jedenfalls bei gesicherter ADHS-Diagnose muss man das schon fragen.
  • Seltsam ist die Angabe der Autoren, „akute Symptome“ seien im Studienzeitraum auch in der Kontrollgruppe mit Homöopathie behandelt worden. Damit ist jeder Anspruch, man habe eine „placebokontrollierte Studie“ durchgeführt, schlicht dahin.
  • Nur PatientInnen waren verblindet, nicht das Prüfungspersonal. Eine „doppelt verblindete“ Studie ist es also auch nicht – mit allen Risiken, die man durch den „Goldstandard“ der kontrollierten, randomisierten Doppelblindstudie (RCT) ja zu vermeiden sucht.

Und DAS ist der „harte Kern“ des Reviews von Gaertner et al.? Um den herum die Arbeit sozusagen ein „Framing“ aus einer Handvoll anderer, selbst auch wenig valider Arbeiten errichtet hat? Tatsächlich?

Edzard Ernst weist darauf hin, dass schon nach den eigenen Ausschlusskriterien der Review-Autoren die Studie von Oberai et al. gar nicht hätte mit aufgenommen werden dürfen. Warum trotzdem geschehen? Vielleicht, weil man dann gar keinen „Bringer“ mehr für ein irgendwie positives Ergebnis gehabt hätte? Wir fragen ja nur …

Es bleibt als Ergebnis einer näheren Betrachtung der eingeschlossenen Studien und ihrer Bewertung, dass dieser Review die von den Autoren formulierte Schlussfolgerung, eine individuelle homöopathische Behandlung von ADHS zeuge eine klinisch relevante und statistisch robuste Wirkung bei der Behandlung von ADHS, nicht rechtfertigt.

Und dabei sind weitere Fragen noch gar nicht angesprochen. Z.B. umfasste die Studienauswahl den Zeitraum ab 1980 – seitdem hat sich sehr viel an den Diagnose-Klassifikationen wie auch an den Standardtherapien bei ADHS geändert. Es wäre also durchaus hinterfragbar, was eigentlich womit verglichen wurde. Aber lassen wir es dabei – es bleibt als Fazit, dass dieser Review die Hindernisse für eine Veröffentlichung in einem renommierten Journal nicht hätte nehmen dürfen. Ob dem Journal das vermittelt werden könnte, wäre eine noch zu klärende Frage.

[1] Sciutto, M. J.; Eisenberg, M. (2007): Evaluating the evidence for and against the overdiagnosis of ADHD. In: Journal of attention disorders. Bd. 11, Nr. 2, Sept. 2007, S. 106–113.

[2]  https://www.rki.de/DE/Content/Gesundheitsmonitoring/Studien/Kiggs/Basiserhebung/GPA_Daten/ADHS.pdf

[3] http://www.beweisaufnahme-homoeopathie.de/?p=110

[4] http://www.beweisaufnahme-homoeopathie.de/?p=1297

[5] https://www.homöopedia.eu/index.php?Title=Artikel:Oft_gehörte_Argumente_-_Verweise_auf_konkrete_Studien_und_Experimente#ADHS-Studie_von_Heiner_Frei

Bild: Screenshot Twitter (Timothy Caulfield)