Når mennesker blir alibi for KI-systemer

E24s faste spaltister skriver jevnlig og gir uttrykk for sine egne holdninger.

Hvor mange beslutninger klarer du å ta i løpet av en arbeidsdag? Med nok tid, godt grunnlag og en god magefølelse. Og hvor mange flere klarer du med beslutningsstøtte fra en tilsynelatende allvitende kopilot?

Norges beste beslutningsmaskin er regjeringskonferansen. Der er forarbeidet grundig og beslutningsmaterialet begrenset. R-notater skal ha skriftstørrelse 12, Times New Roman og være på maks to A4-sider, tre med merknader. De skrives i klarspråk av fagfolk i embetsverket, motivert av at landet skal styres på best mulig grunnlag.

Kontrasten til det KI-genererte beslutningsmaterialet som smyger seg inn i livene til oss som ikke sitter i regjering, er tydelig.

Bekreftende, generiske tekster og polerte, ordrike, men innholdsløse PowerPointer presentert av en kollega som har glemt å stille det egentlige spørsmålet. Workslop kaller noen det. KI-skvip. Produsert av chatboter bygget på amerikanske eller kinesiske verdier, med mål om at du skal like dem og bruke dem.

Å sammenligne embetsverk og chatboter er banalt, men har likevel noe for seg. Særlig på grunn av likhetene, at begge virker troverdige og faglig forankret. Og nettopp her begynner det å bli vanskelig for oss.

Fenomenet kalles kognitiv flyt: En mental snarvei der en lettlest påstand lettere kan oppfattes som sann og troverdig. Språkmodellene nyter i tillegg godt av såkalt lingvistisk kapital, at de bruker språket vi har lært å forbinde med utdanning, kompetanse og autoritet. I hundrevis av år har en tekst som høres smart ut, stort sett vært det. Nå er sammenhengen brutt. Godt språk beviser ingenting.

Nå trengs mer dømmekraft, særlig når vi vurderer vårt eget arbeid.

Ingen er en objektiv kontrollør av sin egen tekst, og vi føler også eierskap til KI-teksten vi selv har bestilt, justert og godkjent.

Hvis gode beslutninger er målet, må dømmekraft skaleres i noenlunde samme tempo som effektiviteten og produktiviteten vi allerede belønner. Nå produseres workslop i industriell skala, og ingen sier det høyt.

Hva hjelper det vel om jeg sparer tid hvis sjefen min må bruke en ekstra time på å forstå hva jeg egentlig mente?

Dette er ikke et ubetydelig irritasjonsmoment, men selve infrastrukturen i organisasjoner som bullshitifiseres.

Til og med pave Leo advarer mot å undervurdere verdien av kommunikasjon. Den er «ikke bare formidling av informasjon, men hvordan kultur skapes» og også «et felles verdensbilde».

Les også

Her kan du AI-trade fra Norge

Hva skjer hvis språkmodellene får definisjonsmakten?

I mange tilfeller har de den allerede. Vi bare merker det ikke. En fersk studie fra Anthropic fant at 50 erfarne analytikere som jobbet med en KI-agent, fulgte agentens tilfeldig tildelte preferanser i 86 prosent av tilfellene. De begrunnet valgene med agentens argumenter, men oppfattet ofte konklusjonen som sin egen.

Derfor holder heller ikke den populære bortforklaringen når KI-tekster «avsløres» med detektoren Pangram.

Den er at avsenderen står inne for tekstens innhold og meninger. Skriving er ikke bare formidling av tenkning. Det er der tenkningen skjer. Også når kvaliteten er god og faktafeilene luket ut, gjenstår spørsmålet: Hvem la premissene?

Rekkefølge betyr noe. I et eksperiment ved Technische Universität Berlin bidro den automatiserte beslutningsstøtten positivt kun når deltagerne først hadde gjort sin egen vurdering. Og vi er late. I studien «Bias in the Loop», publisert i Harvard Data Science Review, godtok deltagerne oftere feil når det krevde ekstra innsats å avvise et forslag. Bonus: De som var positive til KI, oppdaget også færre feil enn de skeptiske.

Som alltid i KI-kronikker har språkmodeller også her fått altfor stor oppmerksomhet. Fra en overflødig PowerPoint til et militært mål er spranget enormt. Men kontrollproblemet har samme struktur. Ifølge Bloomberg peker Pentagons interne gransking på at foreldet etterretning, tidspress, redusert bemanning og overdreven tillit til det KI-baserte Maven-systemet bidro til det KI-assisterte angrepet mot en barneskole i Iran i februar. Rapporten er fortsatt ikke offentlig.

Mennesker var involvert hele veien: analytikere, jurister, målspesialister og militære ledere. Men alle vurderte det samme KI-medierte målet, basert på samme foreldede informasjon, i en prosess optimalisert for fart. Mennesket var i loopen. Loopen var bygget for å bekrefte.

Arbeidsdelingen mellom mennesker og KI bør være noe vi velger, ikke noe vi glir inn i. I beste fall får vi superkrefter. I verste fall blir vi godkjenningsmaskiner, eller et alibi for beslutninger vi egentlig overlot til KI-systemet.

Jo flere agenter, jo mer automatisering og autonomi, desto bedre kontroll må vi ha. Da må loopen designes for å spille oss gode, med kompetanse, mandat og innebygget friksjon. Aller viktigst er å sikre at vi tenker selv, og helst først.

Dømmekraften som skal redde oss fra KI-skvip og glorete PowerPointer, er også grunnmuren i en god sikkerhetskultur.

Mennesker er både den største ressursen og den største sårbarheten i organisasjoner. Og vi har alltid ansvaret, også når vi ikke tar det.

Dette er E24s faste spaltister

Alle spaltene kan leses her.