Der Zentralverein homöopathischer Ärzte (DZVhÄ) hat aktuell auf seiner Webseite einen Artikel unter der Überschrift „Ermutigende Evidenz für Homöopathie“ veröffentlicht und dazu auch mehrere Pressemitteilungen ausgesandt.
Der größte (aber keineswegs der einzige) derzeit vorliegende Gesamtüberblick über die Studien zur Homöopathie ist das sogenannte „NHMRC“-Review aus dem Jahr 2015. Die australische Gesundheitsbehörde hat dies mit einem zusammenfassenden Informationspapier veröffentlicht und kam darin zu dem Schluss, dass für kein mit Homöopathie behandeltes Krankheitsbild der Nachweis einer Wirksamkeit (über Placebo und Kontexteffekte hinaus) vorliegt. Selbstverständlich passte das den Homöopathen nicht und man versuchte über Jahre, an eine erste Arbeitsversion des Reviews zu kommen, von der man behauptete, sie hätte ursprünglich für die Homöopathie gesprochen, sei aber dann „unterdrückt“ worden. Unter „Release the first Report“ machten Homöopathen aus aller Welt solange Rabatz, bis sich nun die australische Gesundheitsbehörde zu einer Veröffentlichung der „ersten Version“ aus dem Jahre 2012 bereitfand. Aus dieser Veröffentlichung versucht die homöopathische Fraktion nun Honig und „ermutigende Evidenz“ zu saugen.
Das verwundert zunächst schon einmal, weil ja die eigene homöopathische Forschung im Bereich der höchsten Evidenzklasse (u.a. vier systematische Reviews von R.T. Mathie im Auftrage des Homeopathic Research Institute) sich durchweg genau mit dem deckt, was das NHMRC-Review von 2015 festgestellt hat: Es gibt keine belastbare Evidenz dafür, dass Homöopathie bei irgendeinem Krankheitsbild spezifisch wirksam ist.
Aus dem Vorentwurf eines großen Reviews will man also plötzlich Ergebnisse ableiten, die nicht einmal die eigene homöopathische Forschung mit jahrelangem Aufwand hervorzubringen imstande war?
Ein Rückblick auf die „Vorgeschichte“
In einer Pressemitteilung vom 12.04.2017 berichtete der DZVhÄ über eine Beschwerde gegen das Review der Australischen Gesundheitsbehörde NHMRC von 2015, das der Homöopathie für keine Indikation eine Evidenz bescheinigte. Der DVZhÄ prägte bei dieser Darstellung den Begriff von der „Täuschung der Öffentlichkeit“ durch angeblich schwerwiegende Fehlleistungen des NHMRC.
Der Zentralverein teilte mit, das englische Homeopathy Research Institute (HRI) habe „eine Beschwerde bei einer offiziellen Commonwealth-Stelle eingelegt und aktuell erste Ergebnisse seiner Recherche veröffentlicht.“ Bei dieser „offiziellen Commonwealth-Stelle“ handelte es sich um den Ombudsmann ihrer Majestät in Australien, der – bis heute – offensichtlich einigermaßen verblüfft über das Ansinnen war, in einer wissenschaftlichen Frage eine Entscheidung treffen zu sollen. Wohl deshalb liegt eine solche – nun schon nach mehreren Jahren – auch nicht vor. Die Existenz der Beschwerde wurde nach längerem Hin und Her zwar bestätigt, allerdings war weder das HRI Beschwerdeführer noch wurde jemals der Text der Beschwerde offengelegt. Übrigens ebensowenig wie „Ergebnisse der Recherche“ durch das HRI über die Aufzählung einzelner recht allgemein gehaltener Punkte hinaus (es war stets die Rede von einem „200-Seiten-Papier“, das jedenfalls außerhalb des HRI niemand zu sehen bekommen hat).
Ein, wenn nicht der zentrale Punkt der Aufregung war die Behauptung, es habe eine erste Fassung des NHMRC-Reviews gegeben, die, da sie angeblich positiv für die Homöopathie ausgefallen sei, jedoch dann „unterdrückt“ und durch die 2015 veröffentlichte Fassung ersetzt worden sei. Per Petition in Australien und England wurde gar deren Offenlegung gefordert. Hierzu gab es Ende August nun eine etwas überraschende neue Entwicklung – die Offenlegung des „Draft“ durch die australische Gesundheitsbehörde.
Nun konnte sich wohl niemand außer den inzwischen in diese Sache verbissenen Homöopathen vorstellen, dass eine staatliche medizinische Forschungsstelle einen Entwurf eines großen Reviews „unterdrückt“ hätte, der – entgegen aller bisherigen Untersuchungen – zu einem für die Homöopathie positiven Ergebnis gekommen wäre. Und genau das erklärte auch der NHMRC anlässlich der Veröffentlichung des Draft: Man wollte den umlaufenden Gerüchten den Wind aus den Segeln nehmen, durch die beste aller Möglichkeiten, nämlich Transparenz. Man darf mutmaßen, dass dies auf Empfehlung des Ombudsmanns ihrer Majestät in Australien geschehen ist, der nun seit einigen Jahren mit der Beschwerde dort sitzt und ersichtlich nichts damit anfangen kann.
Zur Einordnung der Veröffentlichung lassen wir Vertreter des NHMRC selbst zu Wort kommen. Zunächst den Leiter der Öffentlichkeitsarbeit des Forschungsbereichs, Alan Singh. Er schreibt unter anderem:
“Ich möchte Ihnen mitteilen, dass ich einen nicht fertiggestellten Berichtsentwurf in kommentierter Form über einen Überblick über die systematischen Übersichtsarbeiten zur Homöopathie freigebe, der 2012 begonnen, aber nie abgeschlossen wurde. Es gab eine Reihe von Anfragen zu diesem Berichtsentwurf von 2012 und zu den Anträgen auf dessen Veröffentlichung. Ich bin mir des anhaltenden allgemeinen Interesses am Inhalt dieses Berichtsentwurfs bewusst und weiß, dass eine erhebliche Menge an Fehlinformationen über ihn zustande gekommen ist.
Um diesen Fehlinformationen entgegenzuwirken, wird eine kommentierte Version des Berichtsentwurfs 2012 auf der Website des NHMRC zur Verfügung gestellt. Die kommentierenden Anmerkungen erklären im Kontext, warum der Bericht nicht weiterentwickelt wurde (…). Der Berichtsentwurf 2012 ist lediglich eine erste Zusammenfassung der Ergebnisse der Autoren systematischer Homöopathie-Reviews: Er wurde nie fertiggestellt und hat nicht die üblichen NHMRC-Qualitätssicherungsmaßnahmen (für eine Veröffentlichung) durchlaufen. (…)
NHMRC legt den Mitgliedern der Wissenschaftsgemeinschaft dringend nahe, sich auf das NHMRC-Informationspapier „Nachweis der Wirksamkeit der Homöopathie bei der Behandlung von Gesundheitsproblemen“ aus dem Jahr 2015 zu beziehen. Darin heißt es, dass NHMRC auf der Grundlage der Bewertung der Nachweise für die Wirksamkeit der Homöopathie zu dem Schluss kommt, dass es keine gesundheitlichen Probleme gibt, für die es zuverlässige Beweise dafür gibt, dass die Homöopathie wirksam ist”.
Es handelte sich also bei dem Draft um eine erste – mängelbehaftete – Materialsammlung, die von einem externen Auftragnehmer erledigt wurde – und um nicht mehr. Die zahlreichen kommentierenden Anmerkungen des NHMRC im jetzt veröffentlichen Draft erklären diese Mängel im Detail. Letztlich hat die Häufung dieser Unzulänglichkeiten den Ausschlag gegeben, das Projekt abzubrechen und neu aufzusetzen. Wie man sieht, ist es im Grunde schon eine Übertreibung, überhaupt von einem Entwurf zu sprechen (was der englische Text genau genommen auch gar nicht tut – das Wort „draft“ bedeutet Vorlage, Ausarbeitung; „Entwurf“ wird in der Regel mit „draft version“ bezeichnet – und um einen „First Report“ handelt es sich schon erst recht nicht).
Das ist schlicht der Hintergrund des „geheimgehaltenen ersten Entwurfs/Reports“.
Wissenschaft heißt nicht Cherrypicking
Wie kommt der DZVhÄ nun dazu, aus einem solchen ungeordneten und unbewerteten Konglomerat Schlüsse auf Evidenz pro Homöopathie zu ziehen? Sehr einfach – oder auch nicht. Man nehme einfach den Draft und suche mit der bewährten Methode des „Cherrypicking“ Stellen aus den vorläufigen Bewertungen durch den ersten Auftragnehmer heraus, die einem in den Kram zu passen scheinen. Zudem ignoriert man auch noch die zahlreichen Randanmerkungen des NHMRC, die erläutern, warum es sich dabei um nicht brauchbare Einstufungen handelte. Die nachstehende Abbildung aus einem Tweet aus homöopathischen Kreisen, der vorgab, den NHMRC „überführt“ und „Evidenz“ entdeckt zu haben, zeigt dies auch optisch in aller Deutlichkeit. Man bezieht sich auf die Ursprungsaussagen in der ersten Materialsammlung und ignoriert völlig (bzw. sieht darin eine „Unterdrückung der Fakten“) was der NHMRC im Detail für die Veröffentlichung angemerkt hat. Farbenlotto: Schwarz gilt, blau nicht, rot ist die Farbe fürs Cherrypicking?
Man greift hier also quasi in den Papierkorb des NHMRC, zieht eine zerknüllte Notiz heraus, und meint, im ursprünglich dort niedergelegten Text „Beweise“ für ein Fehlverhalten, eine „Unterdrückung“ von validen Ergebnissen zu finden? Zu allem Überfluss ignoriert man auch noch die dabeistehenden Anmerkungen, die belegen, warum die ursprünglichen Aussagen nicht verwertbar waren? Die vom ersten Auftragnehmer zusammengestellten systematischen Reviews waren doch zudem alle längst bekannt – niemand hätte zu deren „Unterdrückung“, wenn sie denn Evidenz aufgewiesen hätten, auf den NHMRC warten müssen. Was uns noch zu der Anmerkung bringt, dass der Entwurf (diesmal der richtige) des Reviews von 2015 vorveröffentlicht wurde mit der Aufforderung, darin noch nicht erfasste Veröffentlichungen zu melden. Dies ist in der Tat geschehen, das endgültige Review berücksichtigte eine Reihe von „nachgemeldeten“ Veröffentlichungen. Mehr Transparenz ging schon damals nicht.
Eines sei noch angemerkt. Ein systematisches Review ist eine Gesamtbetrachtung vieler Studien oder – wie hier – vieler vorheriger Reviews unter methodisch und statistisch vergleichender Bewertung der einbezogenen Arbeiten. Dass dort Arbeiten mit unterschiedlichen Ergebnissen einfließen, ist systemimmanent und gerade gewollt – es geht um das Gesamtergebnis. Einzelergebnisse mit positiver Evidenz, selbst wenn sie real sind, aus der Vorbereitung eines Reviews herauszusuchen und hochzuhalten, ist eine unsinnige Verkehrung des Sinns eines Reviews / einer Metaanalyse – nämlich der methodischen Feststellung der “Über-alles-Evidenz” gerade ohne “Cherrypicking” – in ihr glattes Gegenteil. Ein Review / eine Metaanalyse kann man nur vom Endergebnis her betrachten und auch kritisieren. Selbst wenn man einzelne problematische Bewertungen bei den einbezogenen Arbeiten findet, ist immer als erstes die Frage zu klären, ob sie sich auf das Endergebnis überhaupt auswirken.
Solide Evidenz versus „ermutigende Evidenz“
Und hier, in diesem Screenshot, finden wir nun auch den Begriff von der „ermutigenden Evidenz“ wieder. Völlig zu Recht merkt das NHMRC hier zum Text des Erstauftragnehmers an, dass der Begriff einer „ermutigenden Evidenz“ („encouraging evidence“) im Rahmen der vorliegenden Untersuchung nicht existiere. Warum nicht? Nun, er existiert als Terminus gar nicht, das ist schlicht keine wissenschaftliche Kategorie, sondern ein Euphemismus, den der Erstbetrachter sozusagen in „freiem Künstlertum“ eingefügt hatte. Es ist höchst bezeichnend, dass gerade diese Stelle, die die mangelnde Eignung der Erstauftragnehmer zu einer sachlich fundierten Klassifikation schlagend belegt, nun auch noch vom Zentralverein als Positivum herangezogen und breit zitiert wird.
Prof. Anne Kelso, die Generaldirektorin des NHMRC, wird in ihrer offiziellen Erklärung zur Veröffentlichung des Draft (das ist immerhin die Erklärung der Leiterin einer hochrangigen Institution der australischen Regierung) noch deutlicher:
„Im Rahmen des Prozesses zur Entwicklung der NHMRC-Erklärung zur Homöopathie wurde ein erster Auftragnehmer damit beauftragt, die wissenschaftlichen Erkenntnisse zur Wirksamkeit der Homöopathie bei der Behandlung einer Vielzahl von Krankheiten zu überprüfen. Dies hatte das Ziel, den australischen Bürgern zuverlässige Informationen über deren Anwendung zu liefern. Der Vertrag wurde im August 2012 im gegenseitigen Einvernehmen zwischen NHMRC und dem Auftragnehmer beendet. Der Entwurf des nie fertiggestellten Berichts mit dem Titel The Effectiveness of Homœopathie: an overview review of secondary evidence (der inzwischen so genannte „Berichtsentwurf 2012“) wurde vom Fachausschuss Homöopathie nicht gebilligt.
Ein zweiter Prüfer wurde beauftragt und lieferte einen Überblick über veröffentlichte systematische Übersichtsarbeiten und eine Überprüfung der eingereichten Literatur. Der zweite Auftragnehmer entwickelte das NHMRC Informationspapier: Nachweis der Wirksamkeit der Homöopathie bei der Behandlung von Gesundheitsproblemen (veröffentlicht im März 2015 zeitgleich mit der NHMRC-Erklärung zur Homöopathie).
Das Dokument, das ich freigebe, umfasst den Berichtsentwurf 2012 in seiner Gesamtheit, mit Anmerkungen, die vom früheren Vorsitzenden des Arbeitskreises Homöopathie geprüft wurden. Diese Anmerkungen wurden zum Verständnis des Kontextes und zur Vermeidung von Missverständnissen im Zusammenhang mit dem Berichtsentwurf gemacht.”
Wahrheit oder Unterdrückung?
Nun mag man bei vielleicht immer noch meinen, all das sei nur die nächste Stufe der Unterdrückung und Manipulation einer vorgeblichen „Wahrheit“. Man sollte sich dabei nur darüber klar sein, dass damit die Schwelle zur Etablierung einer veritablen Verschwörungstheorie endgültig überschritten wäre. Was wäre denn, wenn das ganze NHMRC-Review gar nicht existieren würde – was würde das ändern? An der fehlenden Evidenz für die Homöopathie: rein gar nichts. Es gäbe zehn statt elf großer systematischer Reviews, die dies belegen.
Aber so missbraucht man die Offenheit und Transparenz des NHMRC: indem man, statt wissenschaftlich solide über Behauptungen hinaus die Schlussfolgerungen des Reviews 2015 belastbar zu widerlegen (dafür waren mehrere Jahre Zeit), sozusagen jetzt den Papierkorb durchwühlt und nach vorgeblichen Indizien sucht – für eine erwünschte, aber eben nicht den Tatsachen entsprechende Meinung.
Dass ausgerechnet der wissenschaftlich unsinnige und im Kontext fehlgehende Begriff einer „ermutigenden Evidenz“ auch noch dafür herhalten muss, ist bezeichnend. Was das mit einer wissenschaftlichen Diskussion über eine medizinische Fachfrage zu tun hat, bleibt das Geheimnis des Zentralvereins. Nun ja, vielleicht ist das die einzige Möglichkeit, eine längst erledigte Frage überhaupt weiter in der Debatte zu halten – und nach über 200 Jahren ohne Wirkungsnachweis nach „mehr Forschung“ zu rufen. Geht das nicht eher nach Richtung Verschwörungstheorie, weg vom ernsthaft geführten wissenschaftlichen Diskurs? Wir wünschen gute Reise.
Bisherige Veröffentlichungen des INH zum NHMRC-Report:
Offener Brief des INH zum Interview mit Dr. Tournier (HRI) auf „Homöopathie online“
Unendliche Geschichte(n) – noch einmal zum Homöopathie-Review des NHMRC
Eine ausführliche Analyse zum “First Draft” unter Einbeziehung der Stimmen weiterer homöopathischer Vereinigungen findet sich auf dem Blog von Dr. Norbert Aust “Beweisaufnahme in Sachen Homöopathie”
Bildnachweise: Bild von 41330 auf Pixabay / Screenshot twitter.com
5 Antworten auf „Der “unterdrückte erste Report” des NHMRC – Quelle von “Ermutigender Evidenz”?“
Kommentare sind geschlossen.