KI flaskes opp på gamle, kjønnskonservative data

Sammen med Aisha Iqbal, Gilda Seddighi og Rudolf Andersen har seniorforsker og forskningsleder ved Vestlandsforskning Hilde G. Corneliussen skrevet rapporten «Bruk av kunstig intelligens i offentlig sektor og risiko for diskriminering».

– Vi tar utgangspunkt i definisjonen av kunstig intelligens (KI) som brukes i den nasjonale strategien og av EU. Denne favner veldig bredt, sier Corneliussen.

Kunstig intelligens er definert som teknologier som bruker algoritmer til å behandle data.

– Dette inkluderer alt fra automatisering av enkle prosedyrer til veldig komplekse former for maskinlæring, utdyper Corneliussen.

– I komplekse former for maskinlæring foregår prosessene i det man referer til som ‘black boxes’, altså at prosessene er såpass kompliserte at det er vanskelig for mennesker å forstå hva som skjer.

Corneliussen sier at dette gjør KI til både et kraftig og skummelt verktøy, og at det derfor er viktig at man er bevisst på risikoen for diskriminering når man bruker KI i offentlig sektor.

– Likevel var det bare tre prosent av de offentlige institusjonene som deltok i kartleggingen som mente at KI øker risikoen for å diskriminere, sier hun. 

Hva er kunstig intelligens?

– KI er systemer av algoritmer og data og handler om å gjenkjenne mønstre i store mengder data, forklarer Corneliussen.

– ChatGPT sveipa nylig over verden, og det er feil å betegne kunstige intelligenser av denne typen som «intelligent». I bunn og grunn handler det om å gjenkjenne mønstre, både i de enklere versjonene av KI og i de mer avanserte, sier hun.

Mens algoritmer er sett med instrukser for å produsere et utfall, betegner «maskinlæring» at algoritmene oppdaterer seg selv ut ifra utfallene den har produsert. En maskinlærende algoritme kan for eksempel være en som lærer seg å se forskjell på en katt og en hund. Hver gang algoritmen klarer å gjenkjenne en hund vil den oppdatere kategorien «hund» for å bedre klare å gjenkjenne en annen hund ved en senere anledning.

En automatisering av en enkel prosedyre kan være en chatbot som viser deg vei til rett spørsmål, alt etter om du svarer ja eller nei på foregående spørsmål.

– Maskinlæring er avhengig av data for å trene algoritmen, forklarer Corneliussen.

– Da er det snakk om store mengder data som man referer til som «big data» eller «stordata».

KI er et umodent felt i offentlig sektor

Rapporten Corneliussen har vært med å skrive er basert på en spørreundersøkelse og dybdeintervjuer med representanter for offentlige institusjoner.

– Vi sendte ut spørreundersøkelsen til nær 500 institusjoner i både kommunal og statlig sektor, sier Corneliussen.

– 200 institusjoner svarte oss og 28 prosent av disse hadde planer om å ta i bruk KI, eller var i gang med prosjekter hvor KI allerede var i bruk.

Bruk av KI for å behandle persondata er et umodent felt i offentlig sektor.

Corneliussen sier at det varierte veldig i hvor stort omfang KI var i bruk i institusjonene det var snakk om, og hun påpeker at bruken av KI der persondata inngår er helt i oppstarten i offentlig sektor i Norge.

– Under kartleggingen ble vi overrasket av at det var veldig få organisasjoner som hadde kommet helt i mål med KI som inkluderte bruk av persondata. Vi trodde vi kom til å avdekke og diskutere KI på algoritme-nivå, men datamaterialet ledet oss ikke i den retningen.

– Bruk av KI for å behandle persondata er et umodent felt i offentlig sektor, sier hun.

Riktig data er diskriminerende data

Generelt er det liten bevissthet rundt risikoen for diskriminering ved bruk av KI.

– Da vi spurte om diskriminering i henhold til diskrimineringsloven, fikk vi ofte svar som brukte andre ord, som åpenhet, rettferdighet og forklarbarhet. Men når man bytter ut ordet diskriminering, tenker man også annerledes, sier Corneliussen.

Diskriminering kan ikke være en refleksjon man legger til på slutten.

– Noen svarte at diskriminering kanskje ville komme opp som et tema senere i utviklingen av KI-verktøyene. Da vi spurte om hvilke diskrimineringsgrunnlag som kunne være relevant, var det flest som pekte på kjønn, alder og etnisitet, sier hun.

Corneliussen sier at søkelys på diskriminering må være med i refleksjonene helt fra starten for at man skal kunne motvirke diskriminering i KI.

– Diskriminering kan ikke være en refleksjon man legger til på slutten, sier hun.

Utfordringen med KI er ifølge henne at man er avhengig av stordata for å trene algoritmene.

–  Data som blir brukt er hentet fra verden som vi kjenner den, både i nåtid, men også historisk.

Historisk data vil for eksempel vise at menn oftere er i lederstillinger enn kvinner, forteller forskeren. Algoritmene kan da komme til å favorisere menn over kvinner til slike stillinger, sier hun.

– Korrekt data, som avspeiler virkeligheten vi lever i, er diskriminerende fordi vi arver den historiske diskrimineringen.

Corneliussen påpeker at det er viktig å huske at kunstig intelligens spenner over et vidt felt av teknologier.

– Det er lettere å se hvor diskrimineringen finner sted når det er snakk om ren automatisering av oppgaver. I komplekse KI-systemer kan diskrimineringen oppstå inni black box-en, og det gjør det vanskeligere å forstå hvorfor det skjer. 

– Dette er særlig kritisk for offentlig sektor, som må kunne begrunne beslutninger som blir tatt, tilføyer hun.

Mangel på mangfold i teknologiutvikling

Petter Bae Brandtzæg er professor ved institutt for medier og kommunikasjon ved Universitetet i Oslo. Han påpeker at ikke bare data, men også den digitale teknologien inneholder skjevheter.

– Minoriteter og kvinner kan bli diskriminert av KI fordi mye av data som ligger ute gjenspeiler hvordan hvite menn ser på og fortolker verden. For eksempel er brorparten av artiklene på Wikipedia skrevet av hvite menn, sier han. 

Problemet er at KI-modeller ofte er opplært på eksisterende data som ikke gjenspeiler mangfoldet i samfunnet.

I tillegg er 90 prosent av de som jobber med datateknologi menn, påpeker han:

– Det er en bransje som mangler mangfold, noe som betyr at digital teknologi blir utformet av hvite menn som ser verden på en spesifikk måte.

Likevel er det viktig å påpeke at samfunnets institusjoner og eliter generelt også mangler mangfold, mener han. 

– Ser vi på departementene våre og andre styrende institusjoner er det tydelig at digital teknologi ikke er det eneste feltet som mangler mangfold. Det er derfor flere faktorer som kan bidra til diskriminering — ikke bare KI, påpeker han.

– Kanskje kan til og med KI på sikt bidra til å styrke mangfold og redusere diskriminering sier han.  

Kvalitetssikring av stordata

I likhet med Corneliussen er Brandtzæg tydelig på at kvalitetssikring av data er viktig for å motvirke diskriminering.

– Man sier gjerne «bias in, bias out» når man snakker om algoritmer. Bruker man data som ikke tar høyde for mangfold når man trener algoritmer, får man også diskriminerende algoritmer, sier han.

– I tillegg kan man trene opp modellene til å motvirke diskriminering og kode inn menneskelige verdier slik at utfallet blir mindre diskriminerende.

Men når det kommer til oppgaver som kategorisering av grupper, vedtak eller klagebehandling, må man overvåke prosessene, mener Brandtzæg.

– Stordata som brukes til å trene algoritmer hentes ofte fra internett, som er fult av skjevheter, sier han.

39 av de 200 institusjonene som svarte på spørreskjemaet til Corneliussen og de andre rapportforfatterne hadde pågående prosjekter eller planer om bruk av KI med behov for persondata til å trene algoritmene.

– Her vil enkelte argumentere for at lovverket henger litt etter. En offentlig institusjon kan ha lov til å hente inn persondata til det som er virksomhetens formål, men ikke ha lov til å bruke den samme persondataen til å trene algoritmer, sier Corneliussen.

Videre forteller hun at de her også avdekket et problem i henhold til kompetanse.

– Institusjoner i mindre kommuner kan mangle egen kompetanse for å utvikle KI-systemer, sier hun.

– Dette fører til at de baserer seg på innhentet kompetanse, som kan gjøre det vanskeligere å vite hvilke data teknologien er trent på. Det er ikke sikkert at dataen disse algoritmene baserer seg på reflekterer samfunnet som benytter seg av teknologien, sier hun.

Behov for økt bevissthet

Corneliussen påpeker viktigheten av at de gikk inn i kartleggingsarbeidet med et tverrfaglig perspektiv.

– Vi tilnærmet oss temaet med både samfunnsvitenskapelige, tekniske og feministiske briller for å forstå forholdet mellom samfunn, teknologi og diskriminering, sier hun.

For å motarbeide diskriminering er det nødvendig at de som utvikler KI-verktøy gjør det samme, ifølge forskeren.

– Det er både behov for at man jobber i tverrfaglige arbeidsgrupper, i tillegg til at en bevissthet om tverrfaglighet må inn i utdanningen til de som driver med teknologi.

Bevisstheten rundt og arbeidet mot diskriminering må inn i alle ledd av utforming og gjennomføring av KI-prosjekter.

– Flere av de vi snakket med mente at differensiering på grunnlag av data er viktig, men de var ikke bevisste på at diskriminering, i diskrimineringslovens forstand, ikke er det samme som differensiering 

– Man må behandle mennesker og grupper ulikt fordi de har ulike behov, og forskjellene mellom folk må bli tatt høyde for. Men dette er ikke det samme som diskriminering i diskrimineringslovens forstand, sier hun.

Corneliussen forklarer at KI ikke bare risikerer å diskriminere på bakgrunn av innhentet informasjon om for eksempel kjønn og etnisitet. Også annen informasjon som fremstår som uskyldig, for eksempel hvor du bor, hva du spiser og hvilken utdannelse du har, kan brukes som diskrimineringsgrunnlag. Dette er fordi samfunnet over tid har skapt ulike mønstre, hvor noen grupper er overrepresentert i enkelte kategorier. Derfor kan all informasjon potensielt knyttes til et eller flere av diskrimineringsgrunnlagene.

– Det er alltid risiko for diskriminering ved bruk av KI, selv om vi gjør alt riktig. Men bevisstheten rundt og arbeidet mot diskriminering må inn i alle ledd av utforming og gjennomføring av KI-prosjekter, avslutter hun.