U godinama u kojima sam radio kao pomoćni urednik (npr. Američki časopis za epidemiologiju), vidio sam cijeli spektar „kolegijskih recenzija“ - od pedantnih, promišljenih kritika čiji su autori očito uložili nekoliko sati u zadatak do površnih recenzija koje su odražavale nemar i nekompetentnost. Čitao sam prijateljske recenzije štovatelja autora i neprijateljske recenzije njihovih neprijatelja. (Nije teško zaključiti iz tona.) U znanstvenoj praksi, ljudska bića se i dalje ponašaju kao ljudska bića.
Stvari su se pogoršale tijekom pandemije. Studije koje su hvalile cjepiva protiv Covida brzo su certificirane kao "recenzirane", dok je kritička, naknadna recenzija bila... potisnutKao rezultat toga, sada imamo povijesnu zbirku objavljenih loših znanstvenih radova. Ne može se izbrisati, ali vrijeme je da se počne ispravljati zapis.
Biomedicinski časopisi nisu platforma. Prvo, ne postoji formalni odjeljak za otvorene recenzije članaka koji su objavljeni davno. Drugo, urednici nemaju interesa otkrivati neistine koje su objavljene u njihovim časopisima. Treće, cenzura Stroj je još uvijek na mjestu. Do sada sam ga uspio pokvariti samo jednom, i nije bilo lako.
Dakle, kako možemo pokušati ispraviti zapis i gdje?
Dozvolite mi da dam prijedlog svojim kolegama iz epidemiologije, biostatistike i srodnih metodoloških područja koji su sačuvali kritičko razmišljanje tijekom pandemije. Odaberite jedan ili više članaka o cjepivima protiv Covida i pošaljite svoju recenziju na Brownstone JournalAko je zanimljivo i dobro napisano, velika je vjerojatnost da će biti objavljeno. Savjetujem da birate najbolje: pronađite one recenzirane članke koji su vas najviše iritirali, bilo zato što su bili čisti besmislica ili zato što je točan zaključak bio izrazito drugačijiA ako ste objavili kratke kritike na Twitteru (sada X) ili temeljite recenzije na drugim platformama, proširite ih, revidirajte i pošaljite Brownstoneu. Možda bismo mogli polako stvoriti popis kritičkih recenzija, vraćajući određeno povjerenje u znanstvenu metodu i biomedicinsku znanost.
Ovdje je primjer.
Pregled i ponovna analiza studije u Ontariju, Kanada
Objavljeno u British Medical Journal u kolovozu 2021. godine papir izvijestili su o učinkovitosti mRNA cjepiva početkom 2021., ubrzo nakon njihovog odobrenja.
Ovo istraživanje bilo je tipično za studije cjepiva iz tog vremena. Učinkovitost je procijenjena u „stvarnom“ okruženju; naime, opservacijskoj studiji tijekom kampanje cijepljenja. Razdoblje istraživanja (od sredine prosinca 2020. do sredine travnja 2021.) uključivalo je vrhunac zimskog vala Covida početkom siječnja. Kasnije ćemo raspravljati o snažnoj pristranosti koja se naziva zbunjujućim utjecajem rizika od pozadinske infekcije.
Dizajn je bio varijacija studije slučaj-kontrola, dizajn s negativnim testom. Prihvatljivi ispitanici podvrgnuti su PCR testu zbog simptoma sličnih Covidu. Slučajevi su bili pozitivni; kontrolni ispitanici negativni. Kao i obično, izračunati su omjeri šansi, a učinkovitost je izračunata kao 1 minus omjer šansi (izraženo u postocima). Veličina uzorka bila je velika: 53 270 slučajeva i 270 763 kontrolne skupine.
Autori su izvijestili o sljedećim ključnim rezultatima (moj kurziv):
"Učinkovitost cjepiva protiv simptomatske infekcije uočena ≥14 dana nakon jedne doze bila je 60% (95% interval pouzdanosti 57% do 64%), povećavajući se s 48% (41% do 54%) nakon 14–20 dana nakon jedne doze na 71% (63% do 78%) nakon 35–41 dana. Učinkovitost cjepiva uočena ≥7 dana nakon dvije doze bila je 91% (89% do 93%)."
Kao i u gotovo svakoj studiji učinkovitosti, autori su odbacili rane događaje. Kao što je objašnjeno drugdje, ova praksa uvodi pristranost koja se naziva besmrtno vrijeme, ili pristranost prozora brojanja slučajevaNe samo da prikriva moguće rane štetne učinke, već i učinkovito dovodi do precjenjivanja učinkovitosti. RFK, Jr. aludirao je na ovu pristranost netehničkim terminima (vidi video isječak).
The ispravan pristup je jednostavno. Trebali bismo procijeniti učinkovitost od primjene prve doze do kasnijih vremenskih točaka (izgrađeni imunitet). Moja tablica u nastavku prikazuje podatke studije i rezultate nove analize. Svaki redak prikazuje izračun učinkovitosti do naznačenog dana.
Učinkovitost je bila negativna do kraja prva dva tjedna nakon prve doze i dosegla je oko 30% prije druge doze, a ne 70%. Do trenutka punog imuniteta dosegla je samo oko 50%, a ne 90%. Iako moje procjene nisu prilagođene, eTablica 2 (dopunski materijal) pokazuje da prilagodba gotovo nije promijenila procjene autora.
Moji su rezultati i dalje pristrani zbog onoga što sam ranije nazvao „zbunjujućim rizikom od pozadinske infekcije“.
Donja slika je preuzeta s web stranice Javno zdravstvo OntarioCrna linija prikazuje 7-dnevni pomični prosjek novih slučajeva. Dodao sam crvene linije koje prikazuju razdoblje istraživanja, podijeljeno u dva intervala. Također sam dodao procjene broja cijepljenih osoba u svakom intervalu.
Prvi interval, koji je obuhvatio vrhunac zimskog vala, bio je razdoblje sporog početka kampanje cijepljenja. U to vrijeme, raspodjela statusa cijepljenja bila je iskrivljena prema necijepljenju, što znači da Status necijepljenja podudarao se s velikom vjerojatnošću zarazeNasuprot tome, stopa pozadinske infekcije bila je niža u većem dijelu drugog razdoblja, kada je nekoliko milijuna ljudi primilo prvu dozu. Tek sredinom ožujka broj novih slučajeva prešao je isprekidanu liniju. Ukratko, obrnuta povezanost između cijepljenja i infekcije bila je uvelike zbunjena vremenskim trendovima u riziku od infekcije. Čak bi se i placebo injekcija činila učinkovitom.
Ne mogu ukloniti pristranost, a ona je jaka. Prava učinkovitost, ako uopće postoji, puno je manja od procjena koje sam izračunao nakon uklanjanja pristranosti besmrtnog vremena. Je li to 10% za šest tjedana ili 20% nije važno. To nije cjepivo.
Autori su koristili drugu skupinu slučajeva: hospitalizacija ili smrt. Ovi podaci podložni su ne samo prethodnim pristranostima već i pristranost zdravih cijepljenih osobaMeđutim, ne mogu ponuditi ispravak. Većina podataka za slučajeve bila je potisnuta zbog malog broja, a kontrolna skupina bila je u krivu. Koristili su „istu kontrolnu skupinu kao i za prvu primarnu analizu ishoda (tj. osobe sa simptomima koje su bile negativne na SARS-CoV-2).“ To je kršenje osnovnog načela dizajna s negativnim testom. Kontrolne osobe trebale su biti hospitalizirane ili preminule osobe koje su bile negativne na testu.
Sljedeća rečenica odražava nerazumijevanje regresijskog modela koji su prilagodili. Pišu: „Koristili smo multivarijantne logističke regresijske modele za procjenu omjera šansi, uspoređujući šanse za cijepljenje (moj kurziv) između pozitivnih slučajeva i kontrolnih skupina s negativnim rezultatima (s necijepljenim osobama kao referentnom skupinom).“ Zavisna varijabla bio je status slučaj-kontrola (logaritam vjerojatnosti da bude slučaj). Tehnički, uspoređuju se vjerojatnosti da bude slučaj (u odnosu na kontrolu), a ne vjerojatnost cijepljenja.
Čudno, objavljeno dopunski materijal još uvijek nosi naslov „POVJERLJIVO — NIJE ZA DISTRIBUCIJU, 5. KOLOVOZA 2021.“ Samo u doba Covida možete pronaći takvu aljkavost. Ovdje primjećujemo pristrano (nepažljivo) rukovanje papirom koji je služio narativu.
Završit ću svoju recenziju s mojom omiljenom temom: besmisleni rezultati.
Donja slika prikazuje procjene učinkovitosti, kako su ih izračunali autori. Strelica pokazuje na rezultat koji nema smisla. Ne očekujemo nikakvu dodatnu korist od druge doze unutar 6 dana od injekcije, no učinkovitost se povećala, gotovo dosegnuvši procjenu za sljedeći interval (7+ dana). Ako je procjena za 0-6 dana očito pristrana, zašto bismo vjerovali sljedećoj?
Epilog
Kao što sam napisao na početku, trebali bismo pokušati ispraviti povijesne zapise. Pred nama je dug put, ali kako poslovica kaže: „Putovanje od tisuću milja počinje jednim korakom.“ Posebno se obraćam vrhunskim metodolozima koji su nekada parali loše studije i kritizirali klimave metode. Većina njih šutjela je tijekom pandemije, vjerojatno bojeći se posljedica osporavanja narativa „sigurno i učinkovito“.
Počnimo čitati neustrašive recenzije studija koje su izvijestile o izvanrednoj učinkovitosti cjepiva protiv Covida, što se pokazalo lažnim. Nema manjka problema koje treba otkriti, istaknuti i ispraviti, ako je moguće, stvarnim podacima ili simulacijama:
Ako ne napravimo ovaj posao, nastavit ćemo čitati lažne procjene temeljene na učinkovitosti spašenih života. Je li bilo blizu 2.5 milijuna, kako su neki tvrdili, ili neotkriveno u statistikama smrtnosti, ili moguće oko nuleI hoćemo li ikada dobiti neke odgovore od relevantna ispitivanja?
Ponovno objavljeno iz Srednji
Pridružite se razgovoru:
Objavljeno pod Creative Commons Imenovanje 4.0 International licenca
Za ponovne ispise, molimo vas da vratite kanonsku poveznicu na original Institut Brownstone Članak i autor.
