Teknokraatit OpenAI:ssa “holtittomassa” -kilpailussa dominanssista
Joukko OpenAI:n sisäpiiriläisiä viheltää heidän sanomaansa piittaamattomuuden ja salailun kulttuuria San Franciscon tekoälyyrityksessä, joka kilpailee rakentaakseen tehokkaimpia koskaan luotuja tekoälyjärjestelmiä.
Ryhmä, johon kuuluu yhdeksän nykyistä ja entistä OpenAI-työntekijää, on viime päivinä kerännyt yhteisiä huolia siitä, että yritys ei ole tehnyt tarpeeksi estääkseen tekoälyjärjestelmiään muuttumasta vaarallisiksi.
Jäsenten mukaan OpenAI, joka aloitti voittoa tavoittelemattomana tutkimuslaboratoriona ja nousi julkisuuteen vuoden 2022 ChatGPT-julkaisun myötä , asettaa voitot ja kasvun etusijalle yrittäessään rakentaa yleistä tekoälyä tai AGI:ta, alan termiä tietokoneille. ohjelma, joka pystyy tekemään mitä tahansa ihminen.
He väittävät myös, että OpenAI on käyttänyt hardball-taktiikoita estääkseen työntekijöitä ilmaisemasta huolensa teknologiasta, mukaan lukien rajoittavat halveksuntasopimukset, jotka lähteviä työntekijöitä pyydettiin allekirjoittamaan.
“OpenAI on todella innoissaan AGI:n rakentamisesta, ja he kilpailevat piittaamattomasti ollakseen siellä ensimmäisiä”, sanoi Daniel Kokotajlo, OpenAI:n hallintodivisioonan entinen tutkija ja yksi ryhmän järjestäjistä.
Ryhmä julkaisi tiistaina avoimen kirjeen , jossa se kehotti johtavia tekoälyyrityksiä, mukaan lukien OpenAI, lisäämään läpinäkyvyyttä ja lisäämään ilmiantajien suojaa.
Muita jäseniä ovat William Saunders, tutkimusinsinööri, joka jätti OpenAI:n helmikuussa, ja kolme muuta entistä OpenAI:n työntekijää: Carroll Wainwright, Jacob Hilton ja Daniel Ziegler. Useat OpenAI:n nykyiset työntekijät hyväksyivät kirjeen anonyymisti, koska he pelkäsivät yrityksen kostoa. Kokotajlo sanoi. Yksi nykyinen ja yksi entinen työntekijä Google DeepMindissä, Googlen keskeisessä tekoälylaboratoriossa, allekirjoittivat myös sopimuksen.
OpenAI:n tiedottaja Lindsey Held sanoi lausunnossamme: “Olemme ylpeitä saavutuksistamme, jotka tarjoavat tehokkaimmat ja turvallisimmat tekoälyjärjestelmät, ja uskomme tieteelliseen lähestymistapaamme riskien torjunnassa. Olemme samaa mieltä siitä, että tiukka keskustelu on ratkaisevan tärkeää tämän teknologian merkityksen vuoksi, ja jatkamme yhteistyötä hallitusten, kansalaisyhteiskunnan ja muiden yhteisöjen kanssa ympäri maailmaa.
Googlen tiedottaja kieltäytyi kommentoimasta.
Kampanja tulee OpenAI:lle vaikeaan aikaan. Se on edelleen toipumassa viime vuoden vallankaappausyrityksestä, kun yhtiön hallituksen jäsenet äänestivät toimitusjohtajan Sam Altmanin erottamisen puolesta, koska hän oli huolissaan hänen rehellisyydestään. Herra. Altman tuotiin takaisin päiviä myöhemmin, ja hallitukseen lisättiin uusia jäseniä.
Yhtiö kohtaa myös oikeudellisia taisteluita sisällöntuottajien kanssa, jotka ovat syyttäneet sitä tekijänoikeudella suojattujen teosten varastamisesta malliensa kouluttamiseksi. (New York Times haastoi OpenAI:n ja sen kumppanin Microsoftin oikeuteen tekijänoikeusrikkomuksesta viime vuonna.) Sen äskettäistä hyperrealistisen ääniassistentin julkistamista häiritsi julkinen kiista Hollywood-näyttelijä Scarlett Johanssonin kanssa, joka väitti OpenAI:n jäljitteleneen. hänen äänensä ilman lupaa.
Mutta mikään ei ole juuttunut niin kuin syytös siitä, että OpenAI on ollut liian kavaliempi turvallisuuden suhteen.
Viime kuussa kaksi vanhempaa tekoälytutkijaa – Ilya Sutskever ja Jan Leike – jättivät OpenAI:n pilven alle. DR. Sutskever, joka oli ollut OpenAI:n hallituksessa ja äänestänyt Mr. Altman oli hälyttänyt tehokkaiden tekoälyjärjestelmien mahdollisista riskeistä. Jotkut turvallisuusmieliset työntekijät pitivät hänen lähtöään takaiskuna.
Niin oli myös Dr. Leike, joka yhdessä Dr. Sutskever oli johtanut OpenAI:n “superalignment” -tiimiä, joka keskittyi tehokkaiden tekoälymallien riskien hallintaan. Sarjassa julkisia viestejä, joissa hän ilmoitti lähtevänsä, Dr. Leike sanoi uskovansa, että “turvallisuuskulttuuri ja -prosessit ovat jääneet taka-alalle kiiltävissä tuotteissa”.
Ei myöskään Dr. Sutskever eikä Dr. Leike allekirjoitti entisten työntekijöiden kirjoittaman avoimen kirjeen. Mutta heidän irtautumisensa sai muut OpenAI:n entiset työntekijät puhumaan.
“Kun liityin OpenAI:hen, en hyväksynyt tätä asennetta “Tuomme asioita maailmaan ja katsotaan mitä tapahtuu ja korjataan ne jälkeenpäin”, Mr. Saunders sanoi.
Joillakin entisistä työntekijöistä on siteitä tehokkaaseen altruismiin, utilitaristiseen liikkeeseen, joka on viime vuosina alkanut estää tekoälyn aiheuttamia eksistentiaalisia uhkia. Kriitikot ovat syyttäneet liikettä teknologiaa koskevien tuomiopäivän skenaarioiden edistämisestä , kuten käsityksestä, että hallitsematon tekoälyjärjestelmä voisi ottaa vallan ja tuhota ihmiskunnan.
Herra. Kokotajlo, 31, liittyi OpenAI:hen vuonna 2022 hallintotutkijaksi, ja häntä pyydettiin ennustamaan tekoälyn edistymistä. Hän ei ollut lievästi sanottuna optimistinen.
Edellisessä työssään tekoälyn turvallisuusorganisaatiossa hän ennusti, että AGI saattaa saapua vuonna 2050. Mutta nähtyään kuinka nopeasti tekoäly parantui, hän lyhensi aikajanaansa. Nyt hän uskoo, että on 50 prosentin todennäköisyys, että AGI saapuu vuoteen 2027 mennessä – vain kolmessa vuodessa.
Hän uskoo myös, että todennäköisyys, että kehittynyt tekoäly tuhoaa tai vahingoittaa katastrofaalisesti ihmiskuntaa – synkkä tilasto, joka usein lyhennetään sanaksi “p(doom)” tekoälypiireissä, on 70 prosenttia.
OpenAI:ssa Mr. Kokotajlo näki, että vaikka yrityksellä oli käytössä turvallisuusprotokollat – mukaan lukien yhteinen ponnistus Microsoftin kanssa, joka tunnetaan nimellä “deployment safety board”, jonka piti tarkistaa uudet mallit suurten riskien varalta ennen niiden julkistamista -, ne tuntuivat harvoin hidastavan mitään. alas
Hän sanoi esimerkiksi, että vuonna 2022 Microsoft alkoi hiljaa testata Intiassa uutta versiota Bing-hakukoneestaan, jonka jotkut OpenAI:n työntekijät uskoivat sisältävän GPT-4:n, OpenAI:n huippuluokan suuren kielimallin, tuolloin julkaisemattoman version. Herra. Kokotajlo kertoi, että hänelle kerrottiin, että Microsoft ei ollut saanut turvalautakunnan hyväksyntää ennen uuden mallin testaamista, ja sen jälkeen kun lautakunta sai tietää testeistä – useiden raporttien kautta , joiden mukaan Bing käyttäytyi oudosti käyttäjiä kohtaan – se ei tehnyt mitään estääkseen Microsoftia siirtymästä eteenpäin. sitä laajemmin.
Microsoftin tiedottaja Frank Shaw kiisti nämä väitteet. Hän sanoi, että Intian testeissä ei ollut käytetty GPT-4:ää tai mitään OpenAI-malleja. Ensimmäisen kerran Microsoft julkaisi GPT-4:ään perustuvan teknologian vuoden 2023 alussa, hän sanoi, ja turvallisuuspaneelin edeltäjä on tarkistanut ja hyväksynyt sen.
Lopulta Mr. Kokotajlo sanoi tulleensa niin huolestuneeksi, että hän kertoi viime vuonna Mr. Altman sanoi, että yrityksen tulisi “kääntyä turvallisuuteen” ja käyttää enemmän aikaa ja resursseja tekoälyn riskeiltä suojautumiseen sen sijaan, että se ryhdyisi parantamaan mallejaan. Hän sanoi, että Mr. Altman oli väittänyt olevansa samaa mieltä hänen kanssaan, mutta mikään ei juuri muuttunut.
Huhtikuussa hän erosi. Tiimilleen lähettämässään sähköpostissa hän sanoi lähtevänsä, koska hän oli “mennyt luottamuksensa siihen, että OpenAI käyttäytyy vastuullisesti”, kun sen järjestelmät lähestyvät ihmistason älykkyyttä.
“Maailma ei ole valmis, emmekä me ole valmiita”, Mr. Kokotajlo kirjoitti. “Ja olen huolissani siitä, että ryntäämme eteenpäin huolimatta ja järkeistämme toimintaamme.”
OpenAI kertoi viime viikolla aloittaneensa uuden AI-lippulaivan koulutuksen ja muodostavansa uutta turvallisuuskomiteaa tutkimaan uuteen malliin ja muihin tulevaisuuden teknologioihin liittyviä riskejä.
Matkalla ulos Mr. Kokotajlo kieltäytyi allekirjoittamasta OpenAI:n lähteviä työntekijöitä koskevaa standardipaperia, joka sisälsi tiukan aliarvostusta koskevan lausekkeen, joka esti heitä sanomasta negatiivisia asioita yrityksestä tai muuten heillä oli riski, että heidän oma pääomansa viedään pois.
Monet työntekijät voivat menettää miljoonia dollareita, jos he kieltäytyvät allekirjoittamasta. Herra. Kokotajlon sidottu pääoma oli hänen mukaansa noin 1,7 miljoonaa dollaria, mikä vastasi valtaosaa hänen nettovarallisuudestaan, ja hän oli valmis luopumaan kaikesta.
(Pieni myrsky syttyi viime kuussa sen jälkeen, kun Vox ilmoitti uutisista näistä sopimuksista. Vastauksena OpenAI väitti, että se ei ollut koskaan perinyt takaisin omaa pääomaa entisiltä työntekijöiltä, eikä tekisi niin. Altman sanoi olevansa “todella hämmentynyt” olla tekemättä sitä. ovat tienneet sopimuksista, ja yritys ilmoitti poistavansa halventamattomuuslausekkeet vakiopaperityöstään ja vapauttavansa entiset työntekijät sopimuksistaan.)
Avoimessa kirjeessään Mr. Kokotajlo ja muut entiset OpenAI-työntekijät vaativat, että OpenAI:ssa ja muissa tekoälyyrityksissä ei käytetä vähättelyä ja salassapitoa koskevia sopimuksia.
“Laajat luottamuksellisuussopimukset estävät meitä ilmaisemasta huolenaiheitamme, paitsi niille yrityksille, jotka eivät ehkä pysty käsittelemään näitä asioita”, he kirjoittavat.
He myös vaativat tekoälyyrityksiä “tukemaan avoimen kritiikin kulttuuria” ja luomaan työntekijöille raportointiprosessin, jonka avulla he voivat anonyymisti ottaa esille turvallisuuteen liittyvät huolenaiheet.
He ovat pitäneet palvelukseensa pro bono asianajajan, Lawrence Lessigin, merkittävän oikeustutkijan ja aktivistin. Herra. Lessig neuvoi myös Frances Haugenia, entistä Facebook-työntekijää, josta tuli ilmiantaja ja syytti tätä yritystä voittojen asettamisesta turvallisuuden edelle.
Haastattelussa Mr. Lessig sanoi, että vaikka perinteiset ilmiantajien suojat tyypillisesti soveltuvat laittomasta toiminnasta ilmoittamiseen, tekoälyyritysten työntekijöiden oli tärkeää pystyä keskustelemaan riskeistä ja mahdollisista haitoista vapaasti tekniikan tärkeyden vuoksi.
“Työntekijät ovat tärkeä turvallisuuslinja, ja jos he eivät voi puhua vapaasti ilman kostoa, se kanava suljetaan”, hän sanoi.
Neiti. OpenAI:n tiedottaja Held sanoi, että yrityksellä on “työntekijöille keinoja ilmaista huolensa”, mukaan lukien anonyymi rehellisyyspalvelupuhelin.
Herra. Kokotajlo ja hänen ryhmänsä ovat skeptisiä, että pelkkä itsesääntely riittää valmistautumaan maailmaan, jossa on tehokkaampia tekoälyjärjestelmiä. Joten he vaativat lainsäätäjiä sääntelemään myös alaa.
“Tästä prosessista on oltava jonkinlainen demokraattisesti vastuullinen, läpinäkyvä hallintorakenne”, Mr. Kokotajlo sanoi. “Sen sijaan, että vain pari erilaista yksityistä yritystä kilpailisi keskenään ja pitäisi kaiken salassa.”
Arkistoitu kopio: https://archive.ph/GrVGE
