Mikä voi mennä pieleen, kun poliisi käyttää tekoälyä raporttien kirjoittamiseen?

Axonilla – laajalti käytettyjen poliisin vartalokameroiden ja taserien valmistajalla (ja joka myös yrittää aseistaa droneja) – on uusi tuote: tekoäly, joka kirjoittaa poliisiraportteja poliiseille. Draft One on generatiivinen laajan kielen mallikoneoppimisjärjestelmä, jonka kerrotaan ottavan ääntä vartaloon kiinnitetyistä kameroista ja muuntaa sen kertovaksi poliisiraportiksi, jota poliisi voi sitten muokata ja lähettää tapahtuman jälkeen. Axon laskuttaa tätä tuotetta äärimmäisenä ajansäästäjänä poliisiosastoille, jotka haluavat saada poliisit ulos työpöytänsä takaa. Mutta tämä tekniikka voi aiheuttaa uusia ongelmia niille, jotka kohtaavat poliisin, ja erityisesti niille syrjäytyneille yhteisöille, jotka joutuvat jo nyt suhteettoman suureen osuuteen poliisin vuorovaikutuksesta Yhdysvalloissa.

Vastuu ja (tarkoitetut tai muut) epätarkkuuksien kodifiointi

Olemme nähneet sen ennenkin. Rakeinen ja tärisevä poliisin vartaloon kantama kameravideo, jossa pidättävä poliisi huutaa: “Lopeta vastustaminen!” Tämä lause voi johtaa siihen, että virkamiehet käyttävät voimakkaammin tai siihen voi liittyä tehostettuja rikossyytteitä. Joskus nämä huudot voivat olla oikeutettuja. Mutta kuten olemme nähneet kerta toisensa jälkeen , kertomus jonkun pidättämistä vastustavasta henkilöstä voi olla harhaanjohtava. Tekoälyn integroiminen poliisin kohtaamisten kertomuksiin saattaa tehdä jo ennestään monimutkaisesta järjestelmästä vielä kypsemmät väärinkäytöksille.

Yleisön tulisi suhtautua skeptisesti kielialgoritmin kykyyn käsitellä ja erottaa tarkasti ihmisten käyttämät laajat kielet, murteet, kansankielet, idiomit ja slängit. Kuten olemme oppineet seuraamalla sisällön moderoinnin kehittymistä verkossa, ohjelmistoilla voi olla kelvollinen kyky vangita sanoja, mutta se kamppailee usein sisällön ja merkityksen kanssa . Usein jännittyneissä olosuhteissa, kuten liikennepysähdyksissä, tekoäly sekoittaa metaforisen lausunnon kirjaimelliseen väitteeseen voi muuttaa perusteellisesti tapaa, jolla poliisiraportti tulkitaan.

Lisäksi, kuten kaikessa niin sanotussa tekoälyssä, joka ottaa haltuunsa seurannaisuuksia tehtäviä ja päätöksentekoa, teknologialla on valta hämärtää ihmisen toimija. Poliisiviranomaiset, jotka tarkoituksella puhuvat vääriä tai liioiteltuja muovatakseen kehokameran kuvamateriaalia saatavilla olevaa kerrontaa, ovat nyt entistäkin uskottavampia tekoälyn luomien poliisiraporttien ansiosta. Jos poliisi jää kiinni valheesta, joka koski raportin sisältöä, poliisi saattaisi sanoa, että he eivät valehdelleet: tekoäly yksinkertaisesti tulkitsi väärin, mitä kaoottisella videolla tapahtui.

On myös epäselvää, kuinka tämä tekniikka toimii toiminnassa. Jos virkailija sanoo ääneen kehon kameravideossa, “epäillyllä on ase”, kuinka se muuttaisi ohjelmiston tarinan lopputuotteeksi? Tulkisiko se tämän sanomalla “Minä [upseeri] näin epäillyn tuottavan aseen” tai “epäilty oli aseistettu”? Vai raportoiko se vain, mitä upseeri sanoi: “Minä [upseeri] sanoin ääneen, että epäillyllä on ase”? Tulkkausasioissa ja niiden välisillä eroilla voi olla katastrofaalisia seurauksia syytetyille oikeudessa.

Tarkastus, avoimuus ja tarkastukset

Tarkastelun, tarkastuksen ja avoimuuden kysymys herättää useita kysymyksiä. Vaikka luonnos yksi antaa upseereille mahdollisuuden muokata raportteja, miten se varmistaa, että virkailijat tarkistavat riittävästi tarkkuutta sen sijaan, että he leimaavat tekoälyn luomaa versiota? Loppujen lopuksi poliisin tiedetään pidättävän ihmisiä kasvojentunnistustekniikalla tehdyn ottelun tulosten perusteella ilman jatkotutkintaa – toisin kuin myyjät ovat vaatineet, että tällaisia ​​tuloksia tulisi käyttää tutkintajohtona eikä positiivisena tunnistajana .

Lisäksi, jos tekoälyn luoma raportti on virheellinen, voimmeko luottaa siihen, että poliisi kiistää tämän version tapahtumista, jos on heidän edunsa mukaista säilyttää epätarkkuuksia? Toisaalta, voisiko tekoälyraporttien kirjoittaminen mennä tekoälyllä tehostettujen runkokameroiden tapaan ? Toisin sanoen, jos raportti tuottaa johdonmukaisesti äänistä narratiivin, josta poliisi ei pidä, muokkaavatko he sen, poistavatko he sen vai lopettavatko ohjelmiston käytön kokonaan?

Entäpä ulkopuolisten tarkastajien mahdollisuus päästä käsiksi näihin raportteihin? Kun otetaan huomioon poliisilaitosten liian tiukka salassapito ja toistuva julkisia rekistereitä koskevien lakien noudattamatta jättäminen , miten yleisö tai mikä tahansa ulkopuolinen taho voi pystyä itsenäisesti todentamaan tai tarkastamaan nämä tekoälyn avustusraportit? Ja miten ulkopuoliset arvioijat tietävät, mitkä raportin osat ovat tekoälyn ja ihmisen luomia?

Poliisiraportit, jotka ovat vinoja ja puolueellisia, kuten ne usein ovatkin, koodaavat poliisilaitoksen muistia. Ne eivät välttämättä paljasta, mitä tietyn tapahtuman aikana tapahtui, vaan mitä poliisi kuvitteli tapahtuneen, hyvässä uskossa tai ei. Poliisi, jolla on laillinen valta tappaa, pidättää tai viime kädessä kieltää ihmisten vapaus, on liian voimakas instituutio ulkoistaakseen muistin tekemisen tekniikoille tavalla, joka tekee virkamiehistä immuuneja kritiikille, avoimuudelle tai vastuullisuudelle.

What Can Go Wrong When Police Use AI to Write Reports? – Activist Post

Axon—the makers of widely-used police body cameras and tasers (and that also keeps trying to arm drones)—has a new product: AI…