Tekoälyjärjestelmien inhimillinen valvonta ei ehkä ole niin tehokasta kuin luulemme – etenkään sodankäynnin osalta

Tekoälyn (AI) tehostuessa – jopa sodankäynnissä – hallitusten, teknologiayritysten ja kansainvälisten elinten on kiireellisesti varmistettava, että se on turvallinen. Ja yhteinen säiettä useimmissa tekoälyn turvallisuutta koskevissa sopimuksissa on tarve ihmisen valvoa teknologiaa.

Teoriassa ihmiset voivat toimia suojana väärinkäyttöä ja mahdollisia hallusinaatioita vastaan ​​(jossa tekoäly tuottaa virheellistä tietoa). Tämä voi tarkoittaa esimerkiksi sitä, että ihminen tarkistaa tekniikan tuottaman sisällön (sen tuotosten). Ajatukseen ihmisten toimimisesta tietokonejärjestelmien tehokkaana tarkastuksena liittyy kuitenkin luontaisia ​​haasteita, kuten kasvava tutkimusmäärä ja useat tosielämän esimerkit tekoälyn sotilaallisesta käytöstä osoittavat.

Kaikilla tähänastisilla pyrkimyksillä luoda tekoälyä koskevia säännöksiä, monet sisältävät jo kieltä, joka edistää ihmisten valvontaa ja osallistumista. Esimerkiksi EU:n tekoälylaki edellyttää, että korkean riskin tekoälyjärjestelmät – esimerkiksi jo käytössä olevat, jotka automaattisesti tunnistavat ihmiset biometrisellä tekniikalla, kuten verkkokalvoskannerilla – on erikseen varmennettava ja vahvistettava vähintään kahden ihmisen toimesta, joilla on tarvittavat tiedot. pätevyys, koulutus ja toimivalta.

Ison-Britannian hallitus tunnusti sotilasareenalla inhimillisen valvonnan merkityksen helmikuussa 2024 antamassaan vastauksessa parlamentin mietintöön tekoälystä asejärjestelmissä . Raportissa korostetaan “merkittävää ihmisen hallintaa” tarjoamalla ihmisille asianmukaista koulutusta. Siinä korostetaan myös ihmisen vastuun käsitettä ja sanotaan, että esimerkiksi aseistettujen ilmadroneiden toiminnassa päätöksentekoa ei voida siirtää koneille.

Tämä periaate on suurelta osin säilynyt toistaiseksi. Sotilaallisia droneja ohjaavat tällä hetkellä ihmisoperaattorit ja heidän komentoketjunsa, jotka ovat vastuussa aseellisen lentokoneen toimista. Tekoälyllä on kuitenkin potentiaalia tehdä droneista ja niiden käyttämistä tietokonejärjestelmistä tehokkaampia ja autonomisempia.

Tämä sisältää heidän kohdehankintajärjestelmänsä. Näissä järjestelmissä tekoälyn ohjaama ohjelmisto valitsisi ja lukitsisi vihollistaistelijat, jolloin ihminen voisi hyväksyä iskun heihin aseilla.

Vaikka Gazan sotaa ei pidetä vielä laajalle levinneen, se näyttää osoittaneen, kuinka tällaista tekniikkaa jo käytetään. Israelilais-palestiinalainen julkaisu +972-lehti kertoi kuvailevansa Israelin käyttämää järjestelmää nimeltä Lavender. Tämä on kuulemma tekoälyyn perustuva kohdesuositusjärjestelmä yhdistettynä muihin automatisoituihin järjestelmiin, joka seuraa tunnistettujen kohteiden maantieteellistä sijaintia.

Kohteen hankinta

Vuonna 2017 Yhdysvaltain armeija suunnitteli Maven-nimisen hankkeen , jonka tavoitteena on integroida tekoäly asejärjestelmiin. Vuosien saatossa siitä on kehittynyt kohdehankintajärjestelmä. Raporttien mukaan se on lisännyt huomattavasti asealustojen kohdesuositusprosessin tehokkuutta.

Tekoälyn etiikkaa käsittelevän akateemisen työn suositusten mukaisesti paikalla on ihminen, joka valvoo kohteen hankintamekanismien tuotoksia tärkeänä osana päätöksentekoa.

Siitä huolimatta ihmisten tietokoneiden kanssa työskentelyn psykologia herättää tärkeitä huomioitavia kysymyksiä. Yhdysvaltalainen akateeminen Mary Cummings teki vuonna 2006 vertaisarvioidussa artikkelissa yhteenvedon siitä, kuinka ihmiset voivat lopulta luottaa liialliseen konejärjestelmiin ja niiden johtopäätöksiin – ilmiö, joka tunnetaan nimellä automaatioharha .

Tämä saattaa häiritä ihmisen roolia automaattisen päätöksenteon tarkastajana, jos käyttäjät epätodennäköisemmin kyseenalaistavat koneen johtopäätökset.

Toisessa tutkimuksessa , joka julkaistiin vuonna 1992, tutkijat Batya Friedman ja Peter Kahn väittivät, että ihmisten moraalinen tahdontaju voi heikentyä tietokonejärjestelmien kanssa työskennellessä siinä määrin, että he eivät katso olevansa vastuussa seurauksista. Itse asiassa julkaisussa selitetään, että ihmiset voivat jopa alkaa liittää itse tietokonejärjestelmiin toimivallan tunteen.

Kun otetaan huomioon nämä suuntaukset, olisi järkevää pohtia, voisiko liiallinen luottamus tietokonejärjestelmiin sekä ihmisten moraalisen tahdon tajun heikkeneminen vaikuttaa myös kohdehankintajärjestelmiin. Loppujen lopuksi virhemarginaalit, vaikkakin tilastollisesti pienet paperilla, saavat kauhistuttavan ulottuvuuden, kun tarkastellaan mahdollisia vaikutuksia ihmishenkiin.

Tekoälyä koskevat erilaiset päätöslauselmat, sopimukset ja lainsäädäntö auttavat takaamaan, että ihmiset toimivat tärkeänä tekoälyn tarkastuksena. On kuitenkin tärkeää kysyä, voisiko pitkän roolin jälkeen syntyä yhteys katkeaa , jolloin ihmisoperaattorit alkavat nähdä todelliset ihmiset kohteina näytöllä.

Mark Tsagas , lakitieteen, tietoverkkorikollisuuden ja tekoälyn etiikka, Itä-Lontoon yliopiston lehtori

Tämä artikkeli on julkaistu uudelleen The Conversationista Creative Commons -lisenssillä. Lue alkuperäinen artikkeli .