'If you're designing an RPG, you have to go back to the source:' The …

Under de senaste åren har AI-program inom företagsvärlden fokuserat på att göra modellerna mer användbara, exakta och autonoma. I den fasen var ett felaktigt svar oftast något som en människa kunde godkänna eller avvisa innan åtgärder vidtogs. Men när agenterna börjar använda verktyg och agera inom företagets arbetsflöden bör framgång inte längre mätas enbart utifrån hur mycket arbete de utför. Ett viktigare mått är hur väl en agent inser när den saknar befogenhet, sammanhang eller omdöme för att fortsätta.

När hjälpsamhet blir riskabelt

Enligt Allan Dabre, ansvarig för teknikefterlevnad och AI hos PwC, är ”Jag vet inte” ett beteende som medvetet måste byggas in i systemet. AI är utformat för att vara hjälpsamt, så en agent kommer i allmänhet att försöka göra något användbart såvida den inte har konfigurerats att låta bli.

– Det faktum att AI-system kan hallucinera illustrerar den tendensen, säger Dabre.

– När de saknar tillräcklig information kan de ändå komma med ett svar. I ett agentbaserat arbetsflöde kan den impulsen bli farligare eftersom resultatet kan bli en handling, istället för att förbli ett förslag.

Han tillägger att många företag fortfarande testar AI främst med avseende på fullständighet och noggrannhet. Det var rimligt när den centrala frågan var om modellen kunde ge ett tillförlitligt svar. Men i takt med att modellerna förbättras och agenterna får större operativ befogenhet, hävdar han att it-cheferna måste prioritera något annat: återhållsamhet.

– Kan den stanna precis i det ögonblick du vill att den ska stanna? Testar du det?

Säkerhet är inte samma sak som befogenhet

Dabre gör en enkel men viktig distinktion. En AI-agent kan vara 99 procent säker på att en post bör uppdateras, att en återbetalning bör godkännas eller att en äldre databas kan tas ur drift. Men det betyder inte att agenten har befogenhet att agera. Säkerhet handlar om sannolikheten att systemet tror att det har rätt. Befogenhet handlar om huruvida organisationen överhuvudtaget har delegerat den åtgärden till systemet.

Han ger exemplet med en agent som ombeds att analysera äldre programvara och rekommendera vad som kan tas ur drift. Agenten kan med hög säkerhet dra slutsatsen att flera databaser har liten inverkan på användarna och kan raderas. Men även om systemet är säkert på sin sak skulle de flesta organisationer inte vilja att det raderade dessa databaser på egen hand.

Samma logik gäller för alla affärsprocesser. En agent kan vara övertygad om att en kundpost bör uppdateras, att en affärsmöjlighet i ett CRM-system bör avslutas eller att en transaktion verkar legitim. Men så snart den åtgärden sprids till andra system ökar de potentiella konsekvenserna.

Det är därför Dabre förespråkar en agent-sele (agent harness): ett kontroll- eller samordningslager utanför modellen som definierar vad agenten får och inte får göra. I ett arbetsflöde för återbetalningar kan ett företag till exempel låta agenten godkänna mindre återbetalningar, kräva mänskligt godkännande för större belopp och helt stoppa processen när ett visst tröskelvärde överskrids. Agenten kan samla in relevant bakgrundsinformation, förklara begäran och förbereda ärendet för granskning, men beslutet styrs av de behörighetsgränser som är inbyggda i systemet.

– Det är varken ett policydokument eller en uppmaning. Det är programvara eller en konfiguration som man kan tillämpa på en agent.

Minsta möjliga handlingsutrymme

Matt Graney, produktchef på Celigo, en leverantör av plattformar för affärsautomatisering och integration, närmar sig samma problem genom en princip som han kallar ”minsta möjliga handlingsutrymme”. Tanken är att ge en agent den minsta mängd autonomi som krävs för att slutföra ett uppdrag.

Enligt honom finns det en frestelse att använda AI på breda, diffusa problem. Men många affärsprocesser är fortfarande i stort sett deterministiska. De följer fastställda regler och utför repetitiva uppgifter. Inom dessa arbetsflöden kan AI vara användbart vid den punkt där strikta regler ger vika för tolkning. Men det betyder inte att agenten ska äga hela arbetsflödet.

– Ju mindre yta du gör den till, desto bättre, säger han.

Graney säger att samma logik gäller för verktyg. En agent med för många verktyg kan bli förvirrad, särskilt när kontextfönstren växer och uppgiften blir mer komplex.

– Eftersom Celigo är en integrationsplattform är företagets strategi att ge agenterna tillgång till färre, mer kraftfulla verktyg som når företagssystemen via reglerade anslutningar.

Det är en annan form av begränsning. Istället för att låta en agent nå in i företagssystemen på ad hoc-basis ger verksamheten agenten en avgränsad, reglerad verktygslåda som är utformad för den aktuella uppgiften.

Graney hävdar också att skyddsräcken bör placeras utanför modellen. Om samma agent som fattar ett beslut också är ansvarig för att bedöma om beslutet är acceptabelt, blir kontrollen svagare. Ett separat skyddsräcke kan kontrollera agentens in- och utdata innan en efterföljande åtgärd vidtas.

Samma designprincip gäller för eskalering. ”Jag vet inte” bör inte behandlas som en fras i en chattbot. I ett företagsarbetsflöde är det en överlämningsväg som bör definieras innan agenten når den.

Gör eskalering till en del av arbetsflödet

Att omvandla osäkerhet till en överlämning är där Matt Quinn, cto på Car Gurus, en marknadsplats för bilar, ser att agentbaserad AI blir mindre av en ren teknisk utmaning och mer av en ledningsutmaning. På Car Gurus säger Quinn att agenterna utvärderas utifrån vad de vet, vad de kan göra och vilka data de arbetar med.

Car Gurus tar emot ett stort antal ärenden från återförsäljare, och varje ärende måste klassificeras och vidarebefordras. Företaget använder nu en agent för att granska inkommande ärenden, utgå från kontohistoriken och vidarebefordra dem till lämpligt nästa steg. Quinn säger att agenten hanterar cirka 70 procent av dessa ärenden från början till slut utan mänsklig inblandning.

Men när agenterna går vidare till åtgärder med konsekvenser, säger han, råder enighet om att det ska finnas ett godkännandesteg utfört av en människa. Agenten kan återkomma med en enkel fråga som: ”Jag är på väg att göra detta. Vill du att jag ska fortsätta?” Denna enkelhet är viktig eftersom en överlämning inte bör överväldiga granskaren med komplexitet.

Quinn säger att människan i slutändan förblir ansvarig för arbetet. Den principen är särskilt viktig inom teknikområdet, där agenter kan hjälpa till att skriva kod eller åtgärda buggar. Quinn tillägger att Car Gurus fortfarande förväntar sig att utvecklarna följer de rutiner de skulle använda för vilken annan produktionsändring som helst, vilket inkluderar att utföra kvalitetskontroller.

Företaget har anammat uttrycket ”hälsosam hastighet” för att beskriva den balans man eftersträvar. Målet är att arbeta snabbare utan att kvaliteten försämras. En agent kan påskynda arbetet, men om teamen överger de rutiner som gör arbetet säkert blir hastigheten vårdslös.

Det är också här som mänskligt omdöme fortfarande är svårt att ersätta. Quinn beskriver det som ett välutvecklat omdöme som människor förvärvar genom erfarenhet. En människa kan titta på ett AI-genererat resultat och känna att något är fel, även innan hen fullt ut kan formulera varför.

– Agenterna blir bättre. Men människor spelar fortfarande en avgörande roll när det gäller att avgöra när systemet inte ska fortsätta, säger han.

Det betyder inte att varje arbetsflöde behöver samma granskningsnivå. Quinn säger att Car Gurus inte har någon målsättning för hur stor andel av arbetet som ska automatiseras. Den rätta nivån beror på jobbet och uppgiften. En enkel buggfix kan kräva en mindre ingående granskning än en ändring av en känslig backend-tjänst, och en personlig sammanfattning medför kanske liten risk. Men ett dokument som skickas i någons namn måste fortfarande granskas av en människa.

Gör autonomin ansvarsskyldig

Denna typ av pragmatisk inställning kan vara den bästa lärdomen för it-chefer, där målet blir en handlingskraftig AI snarare än maximal autonomi.

Det innebär också att äganderätten måste vara tydlig. Dabre hävdar att äganderätten bör fördelas innan driftsättningen. Verksamheten definierar resultatet, tekniken bygger och konfigurerar agenten, riskhantering och regelefterlevnad sätter upp skyddsräcken, och styrningen övervakar om systemet fortfarande fungerar som avsett. Befogenheten att pausa, stoppa eller ta en agent ur drift bör definieras före driftsättning, inte förhandlas fram under en incident.

Graney illustrerar samma sak med en enkel analogi. Om ett företag anställer en oerfaren praktikant, ger den praktikanten tillgång till kärnan i en affärsprocess och något går fel, är inte praktikanten det egentliga problemet. Det är processen. Detsamma gäller för agenter. Ansvaret ligger hos den person som äger arbetsflödet.

Det kan vara den förändring som it-chefer behöver genomföra när företagen går från pilotprojekt till produktion. AI-agenter bör inte behandlas som magiska arbetare som tar på sig ansvaret. De är komponenter i affärsprocesser, och dessa processer behöver ansvariga ägare.

I takt med att AI-användningen ökar kommer nästa fas av företagens mognad inte att definieras av agenter som alltid svarar eller alltid slutför uppgiften. Det kommer att vara agenter som vet när de inte ska agera.