Eine neuartige Analyse der Pfizer-Studie: Die Wirksamkeit des Impfstoffs lag bei weitem nicht bei 95 %.

Von Eyal Shahar

Vorwort

Der natürliche Ort für diese Arbeit ist eine biomedizinische Fachzeitschrift. Es besteht jedoch keinerlei Chance, dass ein Artikel von einer herkömmlichen Fachzeitschrift angenommen wird. Warum? Weil die Ergebnisse, wie im Titel angegeben, bahnbrechend sind.

Dieser Beitrag ist technisch, die Einleitung jedoch nicht. Für den nicht-akademischen Leser erfüllt die Einleitung zwei Zwecke: 1) eine interessante Geschichte über die Entstehung dieser Arbeit zu erzählen; 2) eine einfache Zusammenfassung meiner Ergebnisse zu geben.

Bleiben Sie also zumindest bis zum Ende dieses Abschnitts dabei.

Obwohl ich über 200 wissenschaftliche Publikationen verfasst habe, waren nur wenige davon wirklich innovativ im Sinne einer kreativen Idee, die zu einer interessanten Entdeckung führte. Die meisten waren uninspirierte, „normale” Wissenschaft. Ich habe mich oft gefragt, wie diese seltenen Fälle entstanden sind, und rückblickend war es nie ein langwieriger Denkprozess. Vielmehr war es ein unerklärlicher Funke, ein Moment, in dem mir aus heiterem Himmel eine Idee kam oder einige lose Enden miteinander verbunden wurden. Diese Arbeit hatte von beidem etwas.

Ich habe den Ergebnissen der Pfizer-Studie nie getraut. Eine Wirksamkeit von 95 % gegen ein Atemwegsvirus war zu gut, um wahr zu sein – beispiellos im Zusammenhang mit einer viralen Atemwegsinfektion. Ich konnte jedoch nicht sagen, was schiefgelaufen sein könnte.

Bei der Arbeit an einem kürzlich erschienenen Beitrag kam ich zu dem Schluss, dass die Ursache dafür die Ermittlung der Fälle gewesen sein muss. Aus welchem Grund auch immer, viele Fälle wurden in der Impfstoffgruppe übersehen, weshalb die ursprünglichen Ergebnisse nicht vertrauenswürdig sind. Gibt es eine andere Möglichkeit, die tatsächliche Wirksamkeit gegen symptomatische Infektionen anhand der Daten der Studie zu schätzen? „Wahrscheinlich nicht“ lautet die zu erwartende Antwort.

Zufällig entdeckte ich ein weiteres Dokument zur Pfizer-Studie mit dem Titel „Final Full Clinical Study Report“ (Abschließender vollständiger klinischer Studienbericht). In diesem umfangreichen Dokument hat Pfizer Schätzungen zur Wirksamkeit gegen asymptomatische Infektionen aufgenommen, die auf einer Blutuntersuchung aller Teilnehmer (Anti-N-Antikörper) basieren.

Gibt es eine Möglichkeit, die Wirksamkeit gegen symptomatische Infektionen anhand der Wirksamkeit gegen asymptomatische Infektionen abzuschätzen?

Das war der Auslöser: eine Frage zu stellen, die zwei lose Enden miteinander verband. Die Antwort darauf war nicht allzu schwierig. Eine einfache rechnerische Aufgabe.

Jede Analyse basiert auf bestimmten Prämissen oder Annahmen. Hier benötigte ich zwei:

Erstens ging ich davon aus, dass der Impfstoff eine Infektion nicht verhindert. Er verhindert möglicherweise nur die Symptome bei einer Infektion. Diese Prämisse ist mittlerweile allgemein anerkannt, und ich konnte sie indirekt anhand der Daten der Studie belegen.

Meine zweite Annahme bezog sich auf die Aufteilung der Infektionen in asymptomatische und symptomatische Fälle. Zu diesem Thema gibt es Daten, darunter auch Daten, die ich aus der Studie extrahieren konnte.

Der Rest der Arbeit bestand lediglich aus einer einfachen Gleichung, die ich aus einer alten Veröffentlichung übernommen habe, und einigen Zeilen in einer Excel-Datei, die ich am Ende zeigen werde.

Ich habe einen Spoiler versprochen:

Von mehr als einem halben Dutzend verschiedener Berechnungen ergab eine eine Wirksamkeit von null, eine eine Wirksamkeit von 50 % und alle anderen eine Wirksamkeit von bis zu 25 %. Wir sollten uns an die Mehrheit halten: Es waren nicht mehr als 25 %. Und das noch vor dem Nachlassen der Wirksamkeit…

Datenquellen

Um Daten zu asymptomatischen Infektionen und symptomatischen Infektionen zu kombinieren, musste ich ein relevantes Zeitfenster finden, in dem beide Arten von Daten verfügbar waren. Es lag zwischen der zweiten Dosis (verabreicht 21 Tage nach der ersten Dosis) und einem Monat später, einem Zeitraum, für den die gemeldete Wirksamkeit zwischen 90,5 % und 94,8 % lag.

Es gab zwei Quellen für die Daten: die berühmte Veröffentlichung im New England Journal of Medicine und das Pfizer-Dokument, das ich in der Einleitung erwähnt habe und das vermutlich bei der FDA eingereicht wurde. Nachfolgend finden Sie Screenshots der von mir verwendeten Daten. Die roten Rechtecke wurden hinzugefügt.

Vorläufige Analyse

Die Ausgangstabelle ist einfach: die Anzahl der Fälle von symptomatischer Infektion und asymptomatischer Infektion in den beiden Armen der Studie innerhalb eines Monats nach der zweiten Dosis.

Die Zahlen in der rechten Spalte wurden aus Tabelle 36 oben übernommen. Die Zahl 4 basiert auf dem Diagramm, und die Zahl 90 wurde anhand der Tabelle unterhalb des Diagramms geschätzt: 21 Fälle in 7 Tagen zwischen Dosis 2 und Tag 6 (Tag 7 gehört zur nächsten Kategorie). Das sind 3 Fälle pro Tag und 90 Fälle in 30 Tagen. Eine ähnliche Schätzung erhalten wir, wenn wir von 275 Fällen in etwa 100 Tagen ausgehen, bei einer konstanten Steigung.

Die Häufigkeit asymptomatischer Infektionen in der Placebo-Gruppe liegt bei etwa 50 %, was angemessen ist. Schätzungen in der Literatur reichen von einem Drittel bis zur Hälfte aller Infektionen. Sowohl 50 % als auch 30 % werden später in der Berechnung verwendet.

Wie gleich erläutert wird, ist die Zahl in der Zelle oben rechts (34) falsch, aber ich werde die Tabelle zur Berechnung der Risikoverhältnisse (RR) und Odds Ratios (OR) verwenden, um einige grundlegende Punkte zu veranschaulichen.

Das Risiko wird als Wahrscheinlichkeit interpretiert, die anhand eines Anteils geschätzt wird. Odds werden formal als das Verhältnis komplementärer Wahrscheinlichkeiten definiert (z. B. 0,514/0,486 unten), können aber auch als das Verhältnis eines Ereignisses zum komplementären Ereignis berechnet werden (z. B. beträgt die Wahrscheinlichkeit einer symptomatischen Infektion in der Placebo-Gruppe 90/85).

Die Tabelle und die folgenden Aufzählungspunkte beziehen sich auf Personen, die infiziert waren.

• Wenn eine Impfung die Wahrscheinlichkeit einer symptomatischen Infektion verringert (RR = 0,20; Wirksamkeit = 80 %), muss sie die Wahrscheinlichkeit einer asymptomatischen Infektion erhöhen („RR“ = 1,84; Wirksamkeit = -84 %). Eine negative Wirksamkeit ist hier offensichtlich ein positives Ergebnis. Analog dazu erhöht eine Behandlung, die die Letalität einer Krankheit verringert, die Überlebensrate der Patienten.
• Das RR einer symptomatischen Infektion (0,20) ist NICHT der Kehrwert des „RR” einer asymptomatischen Infektion (1/1,84=0,54). Das ist ein generisches statistisches Phänomen.
• Im Gegensatz dazu ist das OR für symptomatische Infektionen (0,11) der Kehrwert des OR für asymptomatische Infektionen (1/9 = 0,11). Auch dies ist ein generisches Phänomen, das hilfreich sein wird.

Beachten Sie, dass bei beiden Ergebnissen das Odds Ratio weiter von Null entfernt ist als das Risikoverhältnis: 0,11 < 0,20 < 1 und 9,00 > 1,84 > 1. Das ist ein bekanntes Verhältnis.

Ich habe kürzlich einen Beitrag den Daten zu asymptomatischen Infektionen in der Pfizer-Studie gewidmet. Kurz gesagt sind die von ihnen angegebenen Schätzungen (Tabelle 36 oben) mit einer Wirksamkeit von 50 % bis 60 % falsch, da der Bluttest viel mehr Infektionen nach der Impfung übersieht als Infektionen bei Ungeimpften. Basierend auf Daten aus zwei Studien – eine über den Pfizer-Impfstoff und eine andere über den Moderna-Impfstoff – ist der tatsächliche Prozentsatz der Infektionen nach der Impfung zwei- bis dreimal so hoch wie der Prozentsatz, der eine Serokonversion aufweist. Wenn wir drei Korrekturfaktoren aus diesem Bereich auf die obere Zelle (fett gedruckt) anwenden, erhalten wir die folgenden Ergebnisse für symptomatische Infektionen.

Nach Korrektur der Anzahl asymptomatischer Infektionen in der Impfstoffgruppe stimmen die Schätzungen der Wirksamkeit gegen symptomatische Infektionen – bei infizierten Personen – mit den einen Monat nach der zweiten Dosis gemeldeten Ergebnissen überein: zwischen 90 % und 95 %. Das ist beruhigend.

Am wichtigsten ist, dass die Ähnlichkeit der Schätzungen bei infizierten Teilnehmern mit den Schätzungen bei allen Teilnehmern die erste Annahme stützt. Alle in der Studie berichteten Auswirkungen auf symptomatische Infektionen, ob richtig oder falsch, waren auf die Verhinderung von Symptomen bei einer Infektion zurückzuführen. Der Impfstoff verhinderte keine Infektionen. Unbekannt zuvor, hat die Studie tatsächlich die Auswirkungen auf die Symptome bei einer Infektion geschätzt.

Schätzung der tatsächlichen Wirksamkeit gegen symptomatische Infektionen

Die Ergebnisse der Studie und meiner übereinstimmenden Analyse oben setzen eine korrekte Zählung der symptomatischen Fälle in der Impfstoffgruppe voraus. Wenn diese Zahl (z. B. 4 oben) nicht vertrauenswürdig ist, sind beide Ergebnisse ungültig.

Können wir die Notwendigkeit umgehen, uns auf diese Zahl zu verlassen? Können wir RR (symptomatische Infektion) aus RR (asymptomatische Infektion) ableiten? Wir wissen bereits, wie wir einen korrigierten Bereich für Letzteres erhalten können.

Wie bereits erläutert, können wir nicht einfach den Kehrwert des Risikoverhältnisses nehmen, weil

Für die Odds Ratio gilt jedoch die folgende Gleichung.

Das Risikoverhältnis und das Odds Ratio sind nicht gleich (es sei denn, sie sind 1). Es gibt jedoch eine nichtlineare Funktion, die sie miteinander verbindet.

Dies kann bei Bedarf umgestellt werden, um aus dem Risikoverhältnis das Odds Ratio zu berechnen.

p0 ist das „Basisrisiko“. In unserem Fall ist dies entweder die Wahrscheinlichkeit einer asymptomatischen Infektion oder die Wahrscheinlichkeit einer symptomatischen Infektion bei den Ungeimpften (der Placebo-Gruppe), je nachdem, welches Ergebnis von Interesse ist.

Wir haben also einen Berechnungsweg vom Risikoverhältnis der asymptomatischen Infektion zum Risikoverhältnis der symptomatischen Infektion, der nicht auf der korrekten Zählung der symptomatischen Infektionen in der Impfstoffgruppe beruht.

Sensitivitätsanalyse

Wie zuvor gezeigt (Tabelle 36), lag die gemeldete Wirksamkeit gegen asymptomatische Infektionen bei 50 % bis 60 %, was einem Risikoverhältnis zwischen 0,4 und 0,5 entspricht. Ich habe 0,5 verwendet. Die Ergebnisse sind schlechter (geringere Wirksamkeit gegen symptomatische Infektionen), wenn das Risikoverhältnis 0,4 beträgt, daher zeige ich nur ein Beispiel, das beste Ergebnis.

Meine Sensitivitätsanalyse umfasste zwei variable Faktoren:

• Drei Korrekturfaktoren (2, 2,5, 3) für das Risikoverhältnis asymptomatischer Infektionen, um die Untererkennung von Infektionen nach der Impfung durch den Anti-N-Antikörper-Bluttest zu berücksichtigen. Ein gemeldetes (verzerrtes) Risikoverhältnis von 0,5 wird auf 1, 1,25 bzw. 1,5 korrigiert. Die Impfung hat entweder keine Wirkung oder sie erhöht das „Risiko” (die Wahrscheinlichkeit) einer asymptomatischen Infektion.
• Zwei Anteile einer asymptomatischen Infektion: 0,5, wie in den Daten beobachtet, und 0,3, die Untergrenze in der Literatur.

Dies sind die Ergebnisse (die Wirksamkeit des Impfstoffs ist fett gedruckt).

Wenn das korrigierte Risikoverhältnis für asymptomatische Infektionen 1 beträgt, ist die Berechnung überflüssig. Der Impfstoff hat unabhängig vom Anteil asymptomatischer Infektionen keine Auswirkungen auf beide Arten von Infektionen.

Andernfalls betrachten Sie zur Veranschaulichung der Schritte die zweite Zeile. Ein von Pfizer gemeldetes verzerrtes Risikoverhältnis für asymptomatische Infektionen (0,5) wird auf 1,25 korrigiert. Unter der Annahme, dass 50 % der Infektionen asymptomatisch sind (p0=0,5 in der Umrechnungsgleichung), erhalten wir eine Odds Ratio von 1,667. Mit der Umkehrung erhalten wir die Odds Ratio für symptomatische Infektionen (0,6). Wenn wir diese Odds Ratio in eine Risikoverhältnis umrechnen, erhalten wir 0,75, was einer Wirksamkeit von 25 % gegen symptomatische Infektionen entspricht.

Die Ergebnisse sprechen für sich. Abgesehen von einer Ausnahme liegen sie näher bei Null als bei 95 %.

Epilog

Sind die Ergebnisse gültig? Ich denke natürlich, dass sie es sind.

Könnte ich mich irren? Niemand ist niemals im Unrecht. Allerdings müsste mir jemand zeigen, wo ich mich in meiner Analyse irre, und das ist unwahrscheinlich. Wird dieser Beitrag überhaupt eine Reaktion von der Gegenseite hervorrufen? Für die meisten Menschen, einschließlich Wissenschaftler, ist das Hinterfragen einer alten Studie ein Sturm im Wasserglas. (Sie vergessen, dass es kein Verfallsdatum für die Suche nach der Wahrheit gibt.)

Aber vielleicht geschieht ja ein Wunder. Vielleicht lesen Beamte des NIH oder der FDA diesen Beitrag, beurteilen die Gültigkeit der Ergebnisse und bitten einige Methodiker, sie zu überprüfen. Wenn die Ergebnisse nicht angefochten werden, werden sie meine Analyse und diese Überprüfungen an Pfizer weiterleiten, um eine Antwort bitten und alles öffentlich zugänglich machen.

Darf ich einen berühmten Satz zitieren?

Ich habe einen Traum.

Danksagung

Ich danke Tomas Fürst für seine Kommentare zum Entwurf dieses Beitrags.