Voidaanko ekologiaan tieteenalana luottaa?

Ekologien raportoimat havainnot vaikuttavat suuresti maataloutta, saastumista, ilmastonmuutosta, luonnonsuojelua ja biologista monimuotoisuutta koskeviin poliittisiin keskusteluihin. Mutta voimmeko luottaa heihin? Tuoreen paperin mukaan epäilys on paikallaan.

Kaitlin Kimmel ja kollegat lähtivät tutkimaan “epäilyttäviä tutkimuskäytäntöjä” ekologian alalla. QRP:t, sellaisina kuin ne tunnetaan, sisältävät asioita, kuten tietojen ja koodin jättämisen muiden tutkijoiden tarkastettavaksi. Niihin sisältyy myös hienovaraisempia asioita, kuten tulosten valikoiva raportointi, analyysin säätäminen, kunnes saat merkittävän tuloksen (‘ p -hakkerointi’) ja hypoteesien muodostaminen tulosten tiedossa (‘HARKing’).

QRP:t eivät ole mukana vain tutkijoissa. Lehtien toimittajat hylkäävät usein paperit, joiden löydökset ovat tyhjät tai heikot, koska he uskovat, että tällaiset havainnot ovat vähemmän vaikuttavia ja vähemmän kiinnostavia lukijoita. Tämä johtaa “liioittumisharhaan”, jolloin keskimääräinen vaikutuskoko näyttää suuremmalta kuin se todellisuudessa on, koska nolla- tai heikkoja löydöksiä ei ole esitetty julkaistussa kirjallisuudessa.

Oletetaan esimerkiksi, että tehdään 10 tutkimusta, joista viisi löytää heikkoja vaikutuksia ja viisi vahvoja vaikutuksia. Jos vain viittä jälkimmäistä julkaistaan, julkaistu kirjallisuus liioittelee kyseessä olevaa tehostekokoa. Tällainen tulosten vaihtelu on yleistä, kun otoskoot ovat pieniä (kun tutkimukset ovat “alitehokkaita”, jos käytetään teknistä ammattikieltä).

Kimmel ja kollegat saivat relevantteja tilastoja 354 artikkelista, jotka julkaistiin viidessä ekologian parhaassa lehdessä vuosina 2018–2020. Analyysin yhdessä osassa he tarkastelivat otokseen kuuluvien artikkelien raportoimien t-tilastojen jakautumista. T-tilasto on jotain, jonka lasket, mikä kertoo, kuinka todennäköistä tuloksesi olisi, jos oletetaan, että ne eivät vaikuta. Jos se on suuri, tämä osoittaa, että tulokset olisivat epätodennäköisiä tällä oletuksella ja siten todennäköisesti vaikutusta .

Tärkeää on, että sopimuksen mukaan yli 1,96:n t-tilastot katsotaan merkittäviksi , kun taas alle 1,96:n t-tilastot katsotaan ei-merkittäviksi. Joten jos tutkijat raportoisivat tuloksistaan ​​valikoivasti, voit odottaa näkevän jakauman epäjatkuvuuden, sillä odotettua vähemmän arvoa oli hieman alle 1,96 ja odotettua enemmän hieman yli 1,96. Ja juuri tämän Kimmel ja kollegat löysivät!

Kuten näette, jakelussa on notkahdus hieman alle 1,96:n ja piikki sen yläpuolella. Mikä voidaan selittää vain jollain HARKin, p-hakkeroinnin ja tulosten valikoivan raportoinnin yhdistelmällä. Itse asiassa Kimmel ja kollegat löysivät lisätodisteita valikoivasta raportoinnista. Kun he tarkastelivat t-tilastojen jakautumista artikkelien liitteistä, 1,96:n ympärillä ei ollut epäjatkuvuutta – kuten alla näkyy.

Tämä tarkoittaa, että tutkijat raportoivat tulokset tarkasti liitteissään, mutta valikoivasti pääteksteissään. (Tämä on järkevää, koska artikkeleita arvioidaan yleensä niiden päälöydösten perusteella, ei lisätulosten perusteella.)

Kimmel ja kollegat löysivät myös todisteita liioittelua koskevasta harhasta ekologiakirjallisuudessa. Lisäksi he havaitsivat, että vaikka tiedot olivat saatavilla 80 prosentista heidän otokseen kuuluvista artikkeleistaan, koodi oli saatavilla alle 20 prosentista. Tämä tarkoittaa, että suurinta osaa artikkeleiden tuloksista ei voitu toistaa ilman koodin kirjoittamista uudelleen alusta.

“Ekologialehdissä julkaistut vaikutuskoot”, kirjoittajat kirjoittavat, “liioittelevat niiden ekologisten suhteiden merkitystä, joita he pyrkivät mittaamaan”. Tämä puolestaan ​​”estää empiirisen ekologian kykyä osallistua luotettavasti tieteeseen, politiikkaan ja hallintoon”.

Paperi ei tunnista, mitkä erityiset “ekologiset suhteet” ovat liioiteltuja, tai mitkä alan alueet ovat eniten vaikuttaneet, mutta se tarjoaa yleisiä perusteita skeptisyydelle. Muista tämä, kun seuraavan kerran luet tiedeosastoa.

Lähde:

Can We Trust the Science of Ecology? – The Daily Sceptic

Findings reported by ecologists are hugely influential in policy debates. But a new study has found that questionable research practices, exaggeration bias and lack of data sharing are widespread in the field.