Zusammenfassung
Neuer Review zur Homöopathie - glaube keiner Statistik, die Unmögliches beweisen will!
New review on homeopathy - don't believe statistics that try to prove the impossible!
‚Getretener Quark wird breit, nicht stark!‘
Dieses Goethe-Zitat passt hervorragend auf einen neuen systematischen Review, der seit geraumer Zeit von den Anhängern der Homöopathie als nun ultimativer Beweis für die Wirksamkeit der Homöopathie herumgereicht wird. Und das Zitat ist vollkommen berechtigt, denn diese Arbeit enthält nichts Neues, sondern es werden lediglich schon längst abgehakte Untersuchungen wiedergekäut – das positive Ergebnis allerdings beruht auf einem schwerwiegenden methodischen Fehler.
In dieser 2023 von Hamre et al. veröffentlichten Arbeit [1] werden bereits seit längerem bekannte systematische Reviews und Meta-Analysen ihrerseits einem systematischen Review unterzogen. Dabei beschränkte man sich allerdings auf Reviews, in denen placebo-kontrollierte, randomisierte Vergleichsstudien zur Wirksamkeit bei beliebiger Indikation beim Menschen analysiert wurden. Hierunter fallen sechs Arbeiten: Linde_1997, Linde_1998, Chucherat_2000, Shang_2005, Mathie_2014 und Mathie_2017. Es wird nicht erläutert, warum man die anderen fünf systematischen Reviews nicht eingeschlossen hat, denn ein Review ohne Meta-Analyse, wie es die hier betrachtete Arbeit ist, hätte ohne weiteres auch dort angewandt werden können.
Allerdings: In den sechs für die neue Untersuchung ausgewählten systematischen Reviews wird allesamt ein kleiner positiver Effekt für die Homöopathie konstatiert, der jedoch angesichts der ebenfalls dort durchweg hervorgehobenen schlechten Qualität der Studien die Schlussfolgerung nicht rechtfertigt, dass die Homöopathie wirksam sei[2]. Da dieser immerhin leicht positive Ansatz den anderen Reviews fehlt, dürfte die Motivation der Autoren hinreichend klar sein, sich auf die ausgewählten Arbeiten zu beschränken.
Data-Sibirsk
Als erstes werden die Daten analysiert. Wirklich analysiert, gründlicher geht das nicht. Über zwanzig (!) Seiten der Veröffentlichung hinweg und noch auf dutzenden Seiten in zusätzlichen Dateien werden Methoden erläutert, Daten extrahiert, in Tabellen dargestellt und dann in Prosa beschrieben. Es gibt wohl kaum eine Zahl, die in den Texten der betrachteten Reviews genannt wird oder sonstige zählbare Merkmale, die nicht berichtet werden. Das Ergebnis ist ein kaum zu überschauender Wirrwarr von allen möglichen Daten und Bewertungen, deren Darstellung leider keineswegs dadurch erhellt wird, dass man darauf eingeht, wofür diese Erhebungen relevant sein sollen, oder was man damit belegen will. Es ist Arbeit für eine Strafkolonie, dies alles im Detail zu lesen. Data-Sibirsk.
Auf einmal positiv?
Irgendwann stößt man auf Seite 21 auf die ‚Main findings‘, die wesentlichen Ergebnisse also, und findet die Aussage, dass die Homöopathie für alle Indikationen einen positiven signifikanten Effekt habe. Abgesehen davon, dass dieses Ergebnis falsch ist – siehe unten – ist es schier unmöglich, in dem vorangegangenen Heuhaufen von Information die Stecknadel des Belegs für diese Aussage zu finden. Dass die Autoren aller betrachteten Reviews die Qualität der Einzelstudien für völlig unzureichend hielten, um daraus eine Wirksamkeit der Homöopathie abzuleiten, fehlt allerdings. Und damit eine kritische Bewertung der gefundenen Ergebnisse, ein critical appraisal, wie Cochrane das nennt, das Kernelement zusammenfassender Betrachtungen.
Dies ist hier aber auch nicht nötig, denn das Ergebnis kommt durch eine ungeeignete Methodik zustande, die die Ergebnisse ins Positive verzerrt.
Der Sinn zusammenfassender Betrachtungen
Systematische Reviews und Meta-Analysen werden normalerweise angefertigt, um mehrere vorliegende Studienergebnisse zusammenzufassen und damit eventuell Effekte deutlicher zutage treten zu lassen, die in Einzelstudien aufgrund kleiner Teilnehmerzahlen nicht erkennbar sind (Beta-Fehler[3]). Oder um Widersprüche in den Ergebnissen zu finden und daraus eine Gesamtschau zu erlangen.
Dabei werden verschiedene Einzelstudien zusammengefasst und der Review bzw. die Metaanalyse stellt dann ein Ergebnis dar, als wäre die Gesamtzahl der Teilnehmer aus allen Einzelstudien innerhalb einer einzigen Untersuchung betrachtet worden. Durch die erhöhte Teilnehmerzahl wird der Stichprobenfehler kleiner, das heißt, die Mittelwerte der zusammengefassten Gruppen, also Placebo- und Verumgruppe, liegen näher beim Mittelwert der Grundgesamtheit, die Vertrauensbereiche werden kleiner und Effekte treten deutlicher aus dem statistischen Rauschen heraus. Dies drückt sich dadurch aus, dass im zusammenfassenden Review schon eine kleinere Effektstärke zu einem signifikanten (also wahrscheinlich nicht zufälligen) Ergebnis führt als in den Einzelstudien mit jeweils geringeren Teilnehmerzahlen.
Bildlich: Wenn in 10 Münzwürfen Wappen siebenmal, Zahl dreimal oben liegt, kann das ein Zufall sein. Bei 100 Münzwürfen müssten sich nach dem Gesetz der großen Zahl die Verhältnisse der tatsächlichen Wahrscheinlichkeit annähern, also die Ergebnisse immer mehr der Halbe-Halbe-Verteilung entsprechen, also vielleicht 55 zu 45 oder so. Wenn sich bei 100 Münzwürfen jedoch zeigt, dass Wappen 70 Mal oben liegt, Zahl hingegen 30 Mal, dann ist das sicher kein Zufall mehr, sondern deutet auf einen systematischen äußeren Einfluss hin.
Die Wirkung eines Reviews besteht also darin, mehr Teilnehmer zusammenzufassen, um den Effekt klarer hervortreten zu lassen.
Was machen die Autoren aber hier?
Sie fassen nicht Studien, sondern systematische Reviews zusammen, die ihrerseits wieder Einzelstudien untersucht hatten. Aber, und das ist der wesentliche Unterschied zu ‚richtigen‘ Reviews: es gibt einen großen Überlappungsbereich, in dem einige Einzelstudien in mehreren der untersuchten Reviews enthalten sind.
Die Autoren beschreiben selbst im Text, dass insgesamt 182 verschiedene Einzelstudien in die betrachteten Reviews eingeschlossen wurden, diese aber darin in Summe 310 mal vorkommen – und in dieses neue Review in dieser Anzahl eingeflossen sind. (‚All following descriptions refer to these 310 trials‘). Einzelne Studien, z.B. die Arbeit von Jacobs aus dem Jahr 1994 zu kindlichem Durchfall in Nicaragua, sind bis zu viermal vertreten. Insgesamt waren in den eingeschlossenen Meta-Analysen 5 Studien viermal, 24 Studien dreimal und 65 Studien zweimal eingeschlossen. Das von Jacobs an 92 Teilnehmern ermittelte Ergebnis wird in der Analyse so betrachtet, als wäre es an 368 Probanden gefunden worden. Im Münzbeispiel würde das bedeuten, dass die 100 Würfe nicht stattgefunden haben, sondern das Ergebnis aus den 10 Würfen einfach mit 10 multipliziert wurde. Das Multiplikationsergebnis enthält jedoch keine neue Information, das Gesetz der großen Zahl gilt damit nicht. Es ist genauso Zufall wie das Ausgangsergebnis auch – selbst wenn man es mit einer noch so großen Zahl multipliziert.
Ob man eine neue Meta-Analyse ausführt, oder, wie Hamre et al. darauf verzichtet und einen Dateneintopf serviert, ist unerheblich: Die Studienpopulation, über die da gesprochen wird, gibt es nicht! Sie ist nur künstlich hochgerechnet.
Und entsprechend ist das Ergebnis für diesen Review nicht valide.
Eine Gesamtschau wäre dann methodisch korrekt, wenn in einem Review die 182 Einzelstudien einzeln eingeführt und ausgewertet worden wären, dabei auch die Qualität der Einzelstudien betrachtet und dargestellt wird.
Das ist aber nicht der Fall. Stattdessen hat man aus den vorhandenen Reviews zur Homöopathie nur die Rosinen herausgepickt, diese nach Kräften ausgewalzt, woraufhin man breite Rosinen, aber keine starken erhielt – wie beim Quark.
[1] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10559431/
[2] https://www.homöopedia.eu/index.php?title=Artikel:Systematische_Reviews_zur_Homöopathie_-_Übersicht
[3] Beta-Fehler: Ein tatsächlich vorhandener Effekt wird nicht erkannt, weil er zu schwach ist und in der Streuung der Daten nicht zu erkennen ist. Das Gegenteil ist der Alpha-Fehler, in dem man eine zufällige Datenhäufung fälschlicherweise für einen Effekt hält.
Bildnachweise: Udo Endruscheit für das INH / Pixabay
Eine Antwort auf „Im Datennebel – ein neuer Review zur Homöopathie“
Kommentare sind geschlossen.