NBA finals: Wembanyama silences Garden’s party as Spurs beat Knicks i…

Att följa upp införandet av AI inom företaget ställer it-chefer inför ett dilemma när det gäller mätning. Även om avkastningen på investeringen (ROI) bör vara det avgörande måttet på ett AI-initiativs framgång, är det avgörande för att nå den avkastningen att se till att medarbetarna faktiskt använder de AI-verktyg som införs.

Så, vad är det bästa sättet att mäta AI-användningen utan att tappa det slutgiltiga målet ur sikte?

Vissa företag har använt tokenanvändning som ett mått för att mäta införandet och har till och med gått så långt att de har gamifierat AI-interaktioner för att uppmuntra användningen. AI-experter säger att det är en farlig strategi.

Företag som Amazon, JPMorgan, Meta och Disney har enligt uppgift infört topplistor över AI-användning för att uppmuntra användningen, vilket i vissa fall har lett till att anställda har dragit på sig enorma räkningar när de har förbrukat sina tokenbudgetar. En Disney-anställd interagerade med Claude AI 460 000 gånger under en niodagarsperiod, rapporterar Business Insider.

Sådana företagsrankningar har lett till ett fenomen som kallas tokenmaxxing, där anställda ökar sin användning av AI-verktyg i syfte att vinna tävlingen. Att enbart mäta anställdas tokenanvändning, utan att koppla det till resultat- eller produktivitetsmått, är en recept på katastrof, särskilt för it-chefer som ansvarar för AI-budgetar, säger flera AI-experter.

I vissa fall har de största tokenanvändarna på företag enligt uppgift spenderat miljontals dollar.

Rankningarna av tokenanvändning har goda avsikter, en genuin önskan att spåra hur anställda interagerar med AI-verktyg, säger Trevor Stuart, chef hos mjukvaruutvecklingsleverantören Harness.

– De försöker bara förstå hur människor använder dessa verktyg, hur många som använder dem, säger han och tillägger att rankningarna, genom att uppmuntra användningen, förmodligen kommer att leda till ”produktivitet i senare led”.

Token-topplistor skapar dock incitament för anställda att använda AI-verktyg utan att tänka på kostnaderna, och vissa använder avancerade AI-modeller för enkla uppgifter.

– Det är som att använda fel verktyg när man kan använda ett enklare verktyg för att få jobbet gjort, säger han. Det är där tokenmaxxing verkligen uppmuntrar fel beteende.

Snabba mätvärden

Att mäta använda tokens har blivit populärt eftersom det är ett relativt enkelt mått att samla in, konstaterar Todd Olson, vd på AI-analysleverantören Pendo.

– Om någon inte använder några tokens alls, använder de inte AI överhuvudtaget och får inget värde av det, säger han. Men sedan blir gränserna mycket mer komplexa och gråzoner när alla faktiskt börjar använda det.

När organisationer väl har fått sina anställda att ta det första steget mot att använda AI-verktyg måste de börja tänka på andra mätvärden, säger Olson.

– Det finns en initial tröghet när det gäller att få människor att prova något nytt och ändra sina vanor, säger han. Det är ett slags noll-till-ett-problem. Men sedan är frågan: Använder människor det bara för att använda det?

Det stora problemet är att användningen av tokens inte nödvändigtvis leder till produktivitet, säger Logan Wolfe, partner inom global företagsomvandling, AI och suverän teknikstrategi på Kyndryl.

– Företag använder antalet förbrukade tokens som ett mått på hur produktivt medarbetarna använder AI, förklarar han. Medarbetarna får i praktiken incitament för att använda tokens eller, i vissa fall, straffas för att de inte använder tillräckligt många tokens, och det är uppenbarligen ett mått som är mycket lätt att manipulera.

Wolfe jämför mätvärden för tokenanvändning med belöningar till mjukvaruutvecklare som skriver flest rader kod, vilket leder till uppblåsta applikationer.

– När tokenanvändning blir KPI uppmuntrar man produktionsvolym framför resultat som effektivitet, kvalitet och riskminskning, tillägger han.

En av de största fallgroparna för it-chefer är att incitament för tokenanvändning kan spränga budgeten, säger Wolfe.

– Med tanke på att prissänkningar per token och per inferens inte verkar vara i sikte just nu, inte minst på grund av den växande energikostnadskrisen, leder detta faktiskt till en omvänd kurva för enhetsekonomi och avkastning på AI-initiativ, säger han.

Att räkna fel

Att enbart mäta tokenanvändningen skulle vara ungefär som att en person räknar antalet kilometer hen går varje dag för att förbättra sin hälsa utan att också räkna kalorierna hen konsumerar eller regelbundet kontrollera sina grundläggande medicinska värden, säger Itamar Friedman, vd för AI-kodgranskningsleverantören Qodo. Om du går tre kilometer om dagen men konsumerar 5 000 kalorier är det osannolikt att du förbättrar din hälsa.

Att hålla koll på anställdas tokenanvändning är inte en dålig praxis, men att använda det som en ensam mätvärde ger företagen en ofullständig bild av fördelarna med deras AI-implementeringar, säger han.

– Jag tror verkligen att det finns ett samband mellan att maximera tokenanvändningen och att vara mer produktiv, säger han. Men problemet är att om man behandlar just det som det viktigaste, och kanske till och med det enda, måttet på produktivitet, kan man faktiskt skapa en falsk bild.

I vissa fall verkar företag spåra sina programmerares användning av token, säger han. När utvecklare uppmuntras att producera enorma mängder AI-genererad kod utan att kvalitets- och säkerhetsgranskningar finns på plats, kan koden innehålla allvarliga buggar och säkerhetshål, menar han.

Fler mått behövs

För att undvika fallgroparna med att spåra tokenanvändning rekommenderar Stuart från Harness att företag också fastställer mått för produktivitet eller resultat.

– Man måste utforma det på ett sätt som gamifierar de beteenden och incitament som man bryr sig om, säger han. Ett incitament för oss här på Harness är kanske att det inte handlar om hur många tokens man förbrukar, utan om den produktion vi kan leverera och om att gå från insatser till resultat.

Produktivitetsmått kommer att variera från företag till företag, konstaterar han. För utvecklare som använder AI-assistenter kan till exempel det primära måttet inte vara antalet skrivna kodrader, utan istället antalet kodrader som nådde produktionsstadiet.

– Spenderade du pengar på att skriva kodrader som antingen avvisades, skickades tillbaka eller inte levererades till produktion? Jag ser ett behov av att förstå de bortkastade pengarna. Om du ska ha topplistor måste du också motverka det med en del av det potentiella slöseriet och införa det måttet.

Företag kan också spåra hur anställda optimerar sin AI-användning, tillägger han.

– Det finns pengar som kan optimeras, det finns pengar som slösas bort och så finns det de tokens som förbrukas. Det är verkligen viktigt att börja tänka på alla tre tillsammans. Och den fjärde faktorn är: Vad blev resultatet? Fick vi koden till produktion?

Läs också: Nu kommer den riktiga AI-notan