Summary
Nach beharrlicher Kritik: Unhaltbarer Homöopathie-Review zu ADHS zurückgezogen!
After persistent criticism: untenable homeopathy review on ADHD retracted!
Reminder
Im Juni 2022 berichteten wir über einen neu erschienenen Review zu Homöopathie und ADHS, natürlich mit einem für die Homöopathie positiven Fazit, erschienen in Pedriatic Research, einem renommierten und einflussreichen Journal der Nature Publishing Group. Ein (allzu) bemerkenswertes Ergebnis, das der bisherigen Evidenz zu dieser Indikation deutlich zuwiderlief und dessen Unhaltbarkeit sich bei etwas genauerem Hinschauen dann auch schnell erwies. Eigentlich waren es haarsträubende Mängel, die Kundigen schnell ins Auge hätten fallen müssen – eben auch den Reviewern, die aber offenbar gegen eine Veröffentlichung nichts einzuwenden hatten.
Und das ist das Entscheidende: Hier ging es nicht um eine weitere der zahlreichen Homöopathie-„Studien“, die in der medizinischen Wissenschaft schon deshalb kaum bis nicht zur Kenntnis genommen werden, weil sie nur in den einschlägigen Studien der homöopathischen Szene erscheinen und eher der Selbstbespiegelung der homöopathischen Szene dienen. Hier geht es um das Renommee, das solche Publikationn durch ihre Veröffentlichung in international hoch angesehenen Journalen erhalten und längerfristig dazu führen würden,, dass sich die Homöopathie wie selbstverständlich in der medizinischen Wissenschaft verankert – weil nun mal renommierte Journale die erste Quelle sind, sucht man nach Evidenz für eine Intervention.
Nachstehend nun eine kleine Historie dessen, was danach geschah.
Letter to the Editor – Juni 2022
Solchen Vorstößen darf kein Raum gegeben werden. Deshalb haben wir uns auch nicht auf die Veröffentlichung unserer Kritik beschränkt, sondern – wie es in der wissenschaftlichen Publikation üblich ist – in einem „Letter to the Editor“ unsere Kritik formuliert und eine Prüfung, am besten ein Zurückziehen des Reviews angeregt (nachstehend aus Gründen im englischen Original, Details auch in deutsch im früheren Post):
“Sir,
the paper by Gaertner et al. merits a few comments.
Firstly, the authors state that the included studies showed low-to-moderate risk of bias (ROB). They consider a study to have a high ROB only if three or more domains were rated high ROB. However, if the Cochrane ratings were applied, three studies would be rated high, one medium, two low ROB.
Secondly, one trial did not show a parallel-group design (Frei) and should not have been included, according to the authors’ inclusion criteria.
Thirdly, several of the other studies also had significant flaws. Three were mere pilot trials (Fibert_2019, Jacobs, Oberai), two were not double-blind (Fibert_2019, Oberai), and one was not randomised (Fibert_2016). In the latter study, the homeopathy and control groups did not even have the same length of follow-up. One study was part of a doctor’s thesis and was not published in any peer reviewed journal (Jones). These limitations obviously invite multiple biases and casts doubt on their conclusions.
Fourthly, the data reported in the review do not always match the data reported in the primary studies:
Jacobs et al. reported an improvement in the T-score of their main outcome (CGI-P) of 4.1 for homeopathy and 9.1 for controls4. This means placebo outperformed the homeopathic intervention. Yet, Gaertner et al give an effect size of 0.272 in favour of homeopathy.
Oberai et al. reported effect sizes for their three main outcomes of 0.22, 0.59 and 0.54 (CPRS-R, CGISS, CGIIS) respectively. Yet Gaertner et al. give 1.436 as the average effect size. They do not indicate if they recalculated effect sizes from the data in the study and did not discuss the strange incident that Oberai et al. should have underrated their outcomes. This mere pilot trial with high ROB due to insufficient blinding is the major contributor to the positive findings of this meta-analysis.
We conclude that, due to a combination of 1) the inclusion of trials that should have been excluded, 2) the poor quality of the primary studies, and 3) the errors in extracting the data from some of the primary studies, the overall result obtained by Gaertner et al is false-positive. We therefore ask for the review to be either corrected or withdrawn.
Norbert Aust
Udo Endruscheit
Edzard Ernst“
Hallo …?
Worauf sehr lange Zeit trotz gelegentlicher Nachfragen gar nichts geschah. Die Gedankengänge der Journale sind undurchschaubar und Fehlerkultur scheint öfters ein Problem zu sein. Wer sich dazu einmal einen Eindruck verschaffen möchte, dem sei dazu der verdienstvolle Blog „Retraction Watch“ empfohlen.
Gut ein Jahr nach unserer Intervention teilte uns Pediatric Research dann kurz und knapp mit, dass unserem „Letter to the Editor“ keine ausreichende Relevanz zugemessen werde, um eine Veröffentlichung zu rechtfertigen. Das war nun selbst bei unseren geringen Erwartungen doch – wie man so sagt – starker Tobak.
Äh ,,, nein!
Dies wollten und konnten wir nicht auf sich beruhen lassen. Unsere erneute Intervention bei Pediatric Research haben wir in einem Artikel auf dem – angesehenen und reichweitenstarken – Blog von Prof. Ernst dokumentiert. Nachstehend in deutscher Übersetzung :
“(Anrede …)
meine Co-Autoren und ich erlauben uns, Ihre Entscheidung über unseren Leserbrief zu einem extrem fehlerhaften und irreführenden Artikel, der Patienten Schaden zufügen kann, zu kommentieren. In der Tat fällt es uns sehr schwer, Ihre Entscheidung zu akzeptieren, unseren Kommentar nicht zu veröffentlichen.
Uns ist bewusst, dass Pediatric Research ein Journal mit einem 2 Jahres-Impact Faktor von fast 4 ist. Ihr Journal ist Mitglied von COPE (Committee of Publication Ethics) und wird von einer ganzen Reihe höchstrangiger Institutionen indiziert.
Nach allen anerkannten Maßstäben wird jeder Leser davon überzeugt sein, dass eine in Pediatric Research veröffentlichte Arbeit auf solider Forschung beruht, die Ergebnisse auf einer strengen Methodik beruhen und so zuverlässig sind wie nur möglich. Vor allem, wenn diese Arbeit ein ganzes Jahr lang nach der Veröffentlichung nicht durch Leserkommentare angefochten wird.
Dies ist Ihre Verantwortung gegenüber der wissenschaftlichen Gemeinschaft. Und gegenüber den Kindern, die aufgrund des durch Ihr Journal verbreiteten Wissens behandelt werden.
Wie kann es dann aber sein, dass ein Artikel über Homöopathie, eine durch und durch unglaubwürdige Überlieferung, zur Behandlung von ADHS in Pediatric Research veröffentlicht wird, in dem die Autoren zu dem Schluss kommen, dass die individualisierte Homöopathie „eine klinisch relevante und statistisch robuste Wirkung bei der Behandlung von ADHS zeigte”?
In unserem Kommentar wiesen wir darauf hin, dass den Autoren eine Vielzahl von Fehlern unterlaufen ist – um es milde auszudrücken. Sie leugnen die zweifelhafte Qualität der Studien, die sie in ihre Meta-Analyse einbezogen haben, sie haben sich nicht an ihre eigenen Ausschlusskriterien gehalten, die Daten, die die Autoren berichten, stimmen nicht mit den Ergebnissen der Studien überein, aus denen sie angeblich entnommen wurden. Die einzige Studie, die vermeintlich zum Ergebnis beiträgt, ist lediglich eine Pilotstudie.
Sie begründen die Nichtveröffentlichung unseres Letters damit, dass ihm nicht ausreichend Priorität eingeräumt wurde, um eine Veröffentlichung zu rechtfertigen. Dazu würden wir gerne wissen: Welches Thema könnte denn höhere Priorität haben als die Tatsache, dass ein Artikel in Ihrem Journal schlichtweg falsch und irreführend ist?
Welche Anforderungen stellen Sie, um einen Kommentar als wichtig einzustufen? Bis jetzt ist der Artikel von keinem Leserkommentar beanstandet worden, also gab es offenbar keinen anderen Leserbrief, dem man höhere Priorität als dem unseren einräumen könnte.
Wir bitten Sie, Ihre Entscheidung zu überdenken, oder oder besser noch, ein Zurückziehen des Artikels in Erwägung zu ziehen. In diesem Falle sollten Sie so schnell wie möglich einen Expression of concern veröffentlichen. Schließlich definieren die COPE-Richtlinien für einen Widerruf, dass “eindeutige Belege, dass die Ergebnisse unzuverlässig sind, entweder aufgrund eines schwerwiegenden Fehlers (…), oder aufgrund von erfundenen (…) oder verfälschten (…) Daten“ als Gründe für ein Zurückziehen (Retract).
Andernfalls wird die unhaltbare Methode Homöopathie über einen erstklassigen Beleg verfügen, der dazu dienen wird, die Akzeptanz der Homöopathie bei Eltern und ihren Kindern zu fördern.“
Der Retract
Eine weitere Korrespondenz mit Pediatric Research gab es danach nicht – doch siehe da, wie man auf der Webseite des Journals lesen kann, wurde nun doch die Metaanalyse von Gärtner, Teut und Walach ohne Wenn und Aber zurückgezogen.
Die ausführliche Begründung ist insofern interessant, als dass sie sich eng an die Begründung unseres Letter to the Editor (zum Vergleich die obenstehende englische Fassung) anlehnt:
“The Editor-in-Chief has retracted this article due to concerns regarding the analysis of the articles included in the meta-analysis. Specifically:
(1) The authors’ overall allocation of Risk of Bias (ROB) was not in line with Cochrane guidance.
(2) Frei et al 2005 has no bias stated in the authors’ raw data, but the study only included “responders” (children were treated with homeopathy in the screening phase, and only those who showed improvement were selected for the trial). This should be considered “other bias”.
(3) The results of Jacobs et al. appear to be misrepresented, as their study demonstrated higher improvement in the main outcome in the control group compared with the homeopathy group (CGI-P T-score 9.1 vs. 4.1), while the current study reported these results to be in favour of homeopathy.
(4) Oberai et al. [1] reported effect sizes for their three main outcomes of 0.22, 0.59 and 0.54 (Revised Conners’ Parent Rating Scale [CPRS-R], Clinical Global Impression-Severity Scale [CGISS], Clinical Global Impression- Improvement Scale [CGIIS]) respectively however in this article 1.436 was given as the average effect size. The authors do not indicate if they recalculated effect sizes from the data in the study.
Based on the above deficiencies following thorough review, the Editor-in-Chief has substantial concerns regarding the validity of the results presented in this article.“
Was wäre noch dazu zu sagen?
Wir zitieren die Begründung des Journals nicht grundlos und nicht darum, die Übereinstimmung mit unseren Kritikpunkten am Review besonders herauszustellen. Wir schließen aus diesem Umstand etwas viel Bedeutsameres:
Er lässt nämlich den Schluss zu, dass das akademische Publikum, das bei diesem Journal qualitativ und quantitativ durchaus seinen Umfang haben wird, sich nicht um dieses doch offensichtlich zu hinterfragende Review bekümmert hat. Wären die von INH-Mitgliedern vorgebrachten Einwände nicht gewesen, dann würde das unsägliche Review weiterhin unwidersprochen dastehen – und die Homöopathen hätten eine erstklassige Referenz hoher Evidenzklasse in einem gelisteten Journal mit hohem Impactfaktor.
Schon jetzt ist sichtbar, dass der zurückgezogene Review seine Verbreitung bereits hatte: 22.000 Zugriffe und ein Altmetric-Score von 225 sind für eine solche Arbeit ganz erheblich. Hoffen wir mal, dass die Mehrzahl davon kritische Blicke waren … geäußert haben die sich allerdings eben nicht.
Was ein praktisches Beispiel für die Problemlage gibt, die ebenfalls INH-Mitglieder in der Veröffentlichung „Homeopathy – a lively relic of the prescientific era“ in der Wiener klinischen Wochenschrift aufgezeigt haben (in auszugsweiser deutscher Übersetzung):
„Vor allem die Praxis mehrerer wissenschaftlicher Fachzeitschriften macht der Homöopathie immer wieder den Hof, indem sie trotz ihres Anspruchs auf wissenschaftliche Integrität Studien zur Homöopathie veröffentlichen, vorzugsweise mit positiven Ergebnissen. Man mag sich fragen, wie das möglich ist (sofern es sich nicht um Zeitschriften handelt, die von vornherein dem homöopathischen Bereich zuzuordnen sind).
Einerseits kann es sein, dass Artikel über Homöopathie von Homöopathen begutachtet werden, weil Journale fälschlicherweise davon ausgehen, dass sie die “Experten” für homöopathische Studien sind. Dadurch wird der Bestätigungsfehler nur noch exponentiell verstärkt. Auch die Tendenz, vorrangig sensationelle Ergebnisse veröffentlichen zu wollen, mag eine Rolle spielen.
Darüber hinaus ist das offensichtliche Desinteresse der Fachwelt an Veröffentlichungen zur Homöopathie ein verständlicher, aber sehr bedauerlicher Umstand. Zwar besteht in der wissenschaftlichen Welt ein breiter Konsens darüber, dass die Homöopathie medizinisch irrelevant ist, doch opfern Wissenschaftler und Forscher – gewiss auch verständlicherweise – nur selten Zeit und Mühe, dem im notwendigen Umfang zu begegnen, vor allem in der Öffentlichkeit.
Es ist daher nicht nur ein Beitrag zum aktiven Patientenschutz und zur Gesundheitskompetenz, sondern auch im eigenen Interesse der medizinischen Wissenschaft und Praxis, solche Tendenzen nicht länger zu tolerieren und ihnen eine klare öffentliche Absage zu erteilen. […]
Alle, denen das Wohl der Patienten am Herzen liegt, sollten daher jede Gelegenheit nutzen, um der Pseudomedizin, insbesondere der weit verbreiteten und beliebten Homöopathie, in der ärztlichen Praxis, in der Wissenschaft, in der Forschung und im öffentlichen Gesundheitswesen mit Aufklärung und Information zu begegnen.“
Zu diesem Aspekt siehe auch unser
Interview mit Prof. Lars Bräuer “Im Patienteninteresse”.
Zum Abschluss: Es ging uns bei diesem recht lang gewordenen Artikel nicht darum, einen „Sieg“ zu vermelden (obwohl wir gern gestehen, dass uns der Retract sehr befriedigt hat), sondern darum, auch die wesentlichen Problemlagen zu verdeutlichen, die sich hinter so einer Geschichte verbergen. Merke: Selbst bei einer international als unplausibel und medizinisch irrelevant eingestuften Methode muss man darum kämpfen, dass nicht Scheinevidenz auf dem Weg über seriöse Medizinjournale die Homöopathie auch noch stärkt.