Voidaanko ekologiaan tieteenalana luottaa?

Voidaanko ekologiaan tieteenalana luottaa?
Jaa artikkeli tällä linkillä: https://publication-x.com/click/nrig

Ekologien raportoimat havainnot vaikuttavat suuresti maataloutta, saastumista, ilmastonmuutosta, luonnonsuojelua ja biologista monimuotoisuutta koskeviin poliittisiin keskusteluihin. Mutta voimmeko luottaa heihin? Tuoreen paperin mukaan epäilys on paikallaan.

Kaitlin Kimmel ja kollegat lähtivät tutkimaan “epäilyttäviä tutkimuskäytäntöjä” ekologian alalla. QRP:t, sellaisina kuin ne tunnetaan, sisältävät asioita, kuten tietojen ja koodin jättämisen muiden tutkijoiden tarkastettavaksi. Niihin sisältyy myös hienovaraisempia asioita, kuten tulosten valikoiva raportointi, analyysin säätäminen, kunnes saat merkittävän tuloksen (‘ p -hakkerointi’) ja hypoteesien muodostaminen tulosten tiedossa (‘HARKing’).

QRP:t eivät ole mukana vain tutkijoissa. Lehtien toimittajat hylkäävät usein paperit, joiden löydökset ovat tyhjät tai heikot, koska he uskovat, että tällaiset havainnot ovat vähemmän vaikuttavia ja vähemmän kiinnostavia lukijoita. Tämä johtaa “liioittumisharhaan”, jolloin keskimääräinen vaikutuskoko näyttää suuremmalta kuin se todellisuudessa on, koska nolla- tai heikkoja löydöksiä ei ole esitetty julkaistussa kirjallisuudessa.

Oletetaan esimerkiksi, että tehdään 10 tutkimusta, joista viisi löytää heikkoja vaikutuksia ja viisi vahvoja vaikutuksia. Jos vain viittä jälkimmäistä julkaistaan, julkaistu kirjallisuus liioittelee kyseessä olevaa tehostekokoa. Tällainen tulosten vaihtelu on yleistä, kun otoskoot ovat pieniä (kun tutkimukset ovat “alitehokkaita”, jos käytetään teknistä ammattikieltä).

Kimmel ja kollegat saivat relevantteja tilastoja 354 artikkelista, jotka julkaistiin viidessä ekologian parhaassa lehdessä vuosina 2018–2020. Analyysin yhdessä osassa he tarkastelivat otokseen kuuluvien artikkelien raportoimien t-tilastojen jakautumista. T-tilasto on jotain, jonka lasket, mikä kertoo, kuinka todennäköistä tuloksesi olisi, jos oletetaan, että ne eivät vaikuta. Jos se on suuri, tämä osoittaa, että tulokset olisivat epätodennäköisiä tällä oletuksella ja siten todennäköisesti vaikutusta .

Tärkeää on, että sopimuksen mukaan yli 1,96:n t-tilastot katsotaan merkittäviksi , kun taas alle 1,96:n t-tilastot katsotaan ei-merkittäviksi. Joten jos tutkijat raportoisivat tuloksistaan ​​valikoivasti, voit odottaa näkevän jakauman epäjatkuvuuden, sillä odotettua vähemmän arvoa oli hieman alle 1,96 ja odotettua enemmän hieman yli 1,96. Ja juuri tämän Kimmel ja kollegat löysivät!

Kuva otettu empiirisestä todisteesta laajalle levinneestä liioittelua koskevasta harhasta ja valikoivasta raportoinnista ekologiassa.

Kuten näette, jakelussa on notkahdus hieman alle 1,96:n ja piikki sen yläpuolella. Mikä voidaan selittää vain jollain HARKin, p-hakkeroinnin ja tulosten valikoivan raportoinnin yhdistelmällä. Itse asiassa Kimmel ja kollegat löysivät lisätodisteita valikoivasta raportoinnista. Kun he tarkastelivat t-tilastojen jakautumista artikkelien liitteistä, 1,96:n ympärillä ei ollut epäjatkuvuutta – kuten alla näkyy.

Kuva otettu empiirisestä todisteesta laajalle levinneestä liioittelua koskevasta harhasta ja valikoivasta raportoinnista ekologiassa.

Tämä tarkoittaa, että tutkijat raportoivat tulokset tarkasti liitteissään, mutta valikoivasti pääteksteissään. (Tämä on järkevää, koska artikkeleita arvioidaan yleensä niiden päälöydösten perusteella, ei lisätulosten perusteella.)

Kimmel ja kollegat löysivät myös todisteita liioittelua koskevasta harhasta ekologiakirjallisuudessa. Lisäksi he havaitsivat, että vaikka tiedot olivat saatavilla 80 prosentista heidän otokseen kuuluvista artikkeleistaan, koodi oli saatavilla alle 20 prosentista. Tämä tarkoittaa, että suurinta osaa artikkeleiden tuloksista ei voitu toistaa ilman koodin kirjoittamista uudelleen alusta.

“Ekologialehdissä julkaistut vaikutuskoot”, kirjoittajat kirjoittavat, “liioittelevat niiden ekologisten suhteiden merkitystä, joita he pyrkivät mittaamaan”. Tämä puolestaan ​​”estää empiirisen ekologian kykyä osallistua luotettavasti tieteeseen, politiikkaan ja hallintoon”.

Paperi ei tunnista, mitkä erityiset “ekologiset suhteet” ovat liioiteltuja, tai mitkä alan alueet ovat eniten vaikuttaneet, mutta se tarjoaa yleisiä perusteita skeptisyydelle. Muista tämä, kun seuraavan kerran luet tiedeosastoa.

Lähde:

FAKTARAPORTTI

Artikkeli Daily Scepticissä “Voimmeko luottaa ekologian tieteeseen?” kyseenalaistaa ekologisen tutkimuksen luotettavuuden. Tarjotakseni yksityiskohtaisen analyysin, tarkastelin tohtori Kaitlin Kimmelin ja hänen kollegoidensa tutkimusta ekologian tutkimuskäytännöistä.

Kimmelin, Avolion ja Ferraron Nature Ecology & Evolution -lehdessä syyskuussa 2023 julkaistun tutkimuksen mukaan monet tieteelliset käytännöt, mukaan lukien ekologia, ovat johtaneet epäluotettaviin ja liioiteltuihin todisteisiin tieteellisistä ilmiöistä. Tämä tutkimus analysoi yli 350 ekologian julkaisua vuosilta 2018–2020 viidestä suositusta lehdestä. Tekijät havaitsivat empiiristä näyttöä liioitteluharhasta ja tilastollisesti merkittävien tulosten valikoivasta raportoinnista näissä julkaisuissa. He päättelevät, että ekologian lehtien julkaistut vaikutuskoot usein liioittelevat niiden tavoitteena olevien ekologisten suhteiden merkitystä.

Ympäristötieteilijä tohtori Kaitlin Kimmel-Hassilla on tausta ekologiassa, datatieteessä ja keskittyminen kysymyksiin, kuten biodiversiteetin menetys, adaptiivinen hallinta, metatiede ja syy-seuraussuhteiden tutkiminen. Hänen työnsä korostaa tieteen läpinäkyvyyden ja toistettavuuden merkitystä, ja hän on tunnettu panoksestaan ekologian tutkimuskäytäntöjen haasteiden ymmärtämiseen ja käsittelemiseen.

Yhteenvetona, vaikka The Daily Scepticin artikkeli herättää kysymyksen ekologian tieteen luotettavuudesta, Kimmelin ja muiden tutkimus todellakin osoittaa joitakin huolenaiheita nykyisissä tutkimuskäytännöissä alalla. He tuovat esiin kysymyksiä, kuten liioitteluharhan ja valikoivan raportoinnin, jotka voivat vaikuttaa julkaistujen löydösten luotettavuuteen. On kuitenkin tärkeää huomata, että näitä huolia käsitellään aktiivisesti tutkijoiden, kuten tohtori Kimmel-Hassin, toimesta, jotka ajavat läpinäkyvämpiä ja luotettavampia tutkimuskäytäntöjä ekologiassa.

Lähteet

  1. “Empirical evidence of widespread exaggeration bias and selective reporting in ecology” – PubMed. https://www.ncbi.nlm.nih.gov
  2. “Exaggerated effects in ecology” – Nature Ecology & Evolution. https://www.nature.com
  3. “Empirical evidence of widespread exaggeration bias and selective reporting in ecology” – Nature Ecology & Evolution. https://www.nature.com
  4. “Dr. Kaitlin Kimmel-Hass, Environmental Data Scientist” – Global Water Security Center. https://ua-gwsc.org/dr-kaitlin-kimmel-hass-environmental-data-scientist/