Kritisk analys av verkliga användningsfall av LLM: Mellan löfte och verklighet

Medan debatten om det faktiska värdet av stora språkmodeller (LLM) fortsätter är det viktigt att kritiskt granska verkliga användningsfall som implementerats av företag. Denna analys syftar till att undersöka konkreta tillämpningar av LLM inom olika sektorer och kritiskt bedöma deras faktiska värde, begränsningar och potential.

‍

E-handel och detaljhandel: Riktad optimering eller överengineering?

Inom detaljhandeln och e-handeln används LLM:er för en mängd olika uppgifter:

• Interna assistenter och förbättrat arbetsflöde: Instacart har utvecklat en AI-assistent som heter Ava för att stödja team med att skriva, granska och felsöka kod, förbättra kommunikationen och bygga interna verktyg. Även om det är lovande kan man undra om dessa assistenter erbjuder ett väsentligt större värde än mer traditionella och mindre komplexa samarbetsverktyg.
• Innehållsmoderering och säkerhet: Whatnot använder LLM för att förbättra multimodal innehållsmoderering, bedrägeriskydd och upptäckt av oegentligheter i erbjudanden. Zillow använder LLM för att identifiera diskriminerande innehåll i fastighetsannonser. Dessa fall representerar specifika tillämpningar där LLM kan erbjuda verkligt värde, men kräver noggranna verifieringssystem för att undvika falska positiva och negativa resultat.
• Informationsutvinning och klassificering: OLX skapade Prosus AI Assistant för att identifiera arbetsroller i annonser, medan Walmart utvecklade ett system för att extrahera produktattribut från PDF-filer. Dessa fall visar hur användbara LLM:er är för att automatisera repetitiva uppgifter som annars skulle kräva mycket manuellt arbete.
• Kreativ generering av innehåll: StitchFix kombinerar algoritmiskt genererad text med mänsklig övervakning för att förenkla skapandet av reklamrubriker och produktbeskrivningar. Instacart genererar bilder av livsmedelsprodukter. Dessa applikationer väcker frågor om originaliteten i det genererade innehållet och den potentiella homogeniseringen av reklamspråket.
• Förbättrad sökning: Leboncoin, Mercado Libre och Faire använder LLM för att förbättra sökrelevansen, medan Amazon använder LLM för att förstå relationer som bygger på sunt förnuft och ge mer relevanta produktrekommendationer. Dessa fall representerar ett område där mervärdet av LLM potentiellt är betydande, men beräkningskomplexiteten och tillhörande energikostnader kanske inte motiverar den inkrementella förbättringen jämfört med befintliga sökalgoritmer.

Fintech och bankverksamhet: Att navigera mellan värde och regleringsrisker

‍

Inom finanssektorn tillämpas LLM med försiktighet med tanke på uppgifternas känsliga natur och stränga regleringskrav:

• Klassificering och taggning av data: Grab använder LLM för datastyrning, klassificering av enheter, identifiering av känslig information och tilldelning av lämpliga taggar. Detta användningsfall är särskilt intressant eftersom det hanterar en kritisk utmaning för finansinstitut, men kräver strikta kontrollmekanismer för att undvika klassificeringsfel.
• Generering av rapporter om ekonomisk brottslighet: SumUp genererar strukturerade berättelser för rapporter om ekonomiskt bedrägeri och penningtvätt. Även om denna applikation lovar att minska den manuella arbetsbelastningen väcker den farhågor om juristernas förmåga att hantera juridiskt känsliga ämnen på ett korrekt sätt utan mänsklig övervakning.
• Stöd för finansiella frågor: Digits föreslår frågor relaterade till banktransaktioner. Detta användningsfall visar hur LLM:er kan hjälpa yrkesverksamma utan att ersätta dem, vilket kan vara ett mer hållbart tillvägagångssätt än fullständig automatisering.

Teknik: Automation och service

‍

Inom tekniksektorn används LLM i stor utsträckning för att förbättra interna arbetsflöden och användarupplevelsen:

• Incidenthantering och säkerhet: Enligt security.googleblog.com använder Google LLM för att tillhandahålla sammanfattningar av säkerhets- och integritetsincidenter för olika mottagare, inklusive chefer och partnerteam. Detta tillvägagångssätt sparar tid för cheferna och förbättrar kvaliteten på incidentsammanfattningarna. Microsoft använder LLM för att diagnostisera produktionsincidenter, medan Meta har utvecklat ett AI-assisterat system för analys av grundorsaker. Incident.io genererar sammanfattningar av mjukvaruincidenter. Dessa fall visar på värdet av LLM för att påskynda kritiska processer, men väcker frågor om deras tillförlitlighet i situationer med höga insatser.
• Programmeringshjälp: GitHub Copilot erbjuder kodförslag och automatiska kompletteringar, medan Replit har utvecklat LLM för kodreparation. NVIDIA använder LLM för att upptäcka sårbarheter i programvaran. Dessa verktyg ökar utvecklarnas produktivitet, men kan också sprida ineffektiva eller osäkra kodmönster om de används okritiskt.
• Datafrågor och intern sökning: Honeycomb hjälper användare att skriva frågor om data, Pinterest förvandlar användarfrågor till SQL-frågor. Dessa fall visar hur LLM kan demokratisera tillgången till data, men kan också leda till feltolkning eller ineffektivitet utan en grundlig förståelse av de underliggande datastrukturerna.
• Klassificering och hantering av supportärenden: GoDaddy klassificerar supportärenden för att förbättra kundupplevelsen. Dropbox sammanfattar och svarar på frågor om filer. Dessa fall visar potentialen hos LLM för att förbättra kundtjänsten, men väcker frågor om kvaliteten och noggrannheten i de svar som genereras.

Leveranser och mobilitet: Operativ effektivitet och kundanpassning

‍

Inom leverans- och mobilitetssektorn används LLM för att förbättra den operativa effektiviteten och användarupplevelsen:

• Testning och teknisk support: Uber använder LLM för att testa mobila applikationer med DragonCrawl och har byggt Genie, en AI-co-pilot som svarar på supportfrågor. Dessa verktyg kan avsevärt minska den tid som läggs på testning och support, men kanske inte fångar komplexa problem eller gränsfall som en mänsklig testare skulle göra.
• Extrahering och matchning av produktinformation: DoorDash extraherar produktinformation från SKU-data och Delivery Hero matchar sitt lager med konkurrenternas produkter. Dessa fall visar hur LLM:er kan automatisera komplexa processer för datamatchning, men kan leda till partiskhet eller feltolkning utan lämpliga kontroller.
• Konversationell sökning och relevans: Picnic förbättrar sökrelevansen för produktlistor, medan Swiggy implementerade neural sökning för att hjälpa användare att upptäcka mat och livsmedel på ett konversationellt sätt. Dessa fall illustrerar hur LLM kan göra sökgränssnitt mer intuitiva, men också skapa "filterbubblor" som begränsar upptäckten av nya produkter.
• Automatisering av support: DoorDash har byggt en LLM-baserad supportchattbot som hämtar information från kunskapsbasen för att generera svar som snabbt löser problem. Detta tillvägagångssätt kan förbättra svarstiderna, men kräver robusta skyddsräcken för att hantera komplexa eller känslomässigt laddade situationer.

Sociala medier, media och B2C: Personaliserat innehåll och interaktioner

‍

I sociala medier och B2C-tjänster används LLM:er för att skapa anpassat innehåll och förbättra interaktionen:

• Innehållsanalys och moderering: Yelp har uppdaterat sitt innehållsmodereringssystem med LLM för att upptäcka hot, trakasserier, obsceniteter, personangrepp eller hatpropaganda. LinkedIn analyserar olika innehåll på plattformen för att extrahera information om färdigheter. Dessa fall visar på LLM:s potential att förbättra kvaliteten på innehållet, men väcker också farhågor om censur och en potentiell begränsning av yttrandefriheten.
• Generering av utbildningsinnehåll och marknadsföring: Duolingo använder LLM för att hjälpa designers att generera relevanta övningar, medan Nextdoor använder LLM för att skapa iögonfallande e-postobjekt. Dessa applikationer kan öka effektiviteten, men kan också leda till överstandardisering av innehållet.
• Flerspråkig översättning och kommunikation: Roblox utnyttjar en anpassad flerspråkig modell för att göra det möjligt för användare att kommunicera sömlöst med hjälp av sitt eget språk. Denna applikation visar på LLM:s potential när det gäller att övervinna språkbarriärer, men kan medföra kulturella nyanser i översättningar.
• Interaktion med medieinnehåll: Vimeo gör det möjligt för användare att konversera med videor genom ett RAG-baserat fråge- och svarssystem som kan sammanfatta videoinnehållet, länka till viktiga ögonblick och föreslå ytterligare frågor. Den här applikationen visar hur LLM kan förändra vårt sätt att interagera med multimediainnehåll, men väcker frågor om hur tillförlitliga de genererade tolkningarna är.

Kritisk utvärdering: Verkligt värde kontra att följa trenden

Som Chitra Sundaram, chef för datahanteringsverksamheten på Cleartelligence, Inc. påpekar, "LLM är resursslukare. Att träna och köra dessa modeller kräver enorm datorkraft, vilket leder till ett betydande koldioxidavtryck. Hållbar IT handlar om att optimera resursanvändningen, minimera slöseri och välja rätt storlek på lösningen". Denna observation är särskilt relevant när man analyserar de användningsfall som presenteras.

‍

När man analyserar dessa användningsfall framträder flera kritiska överväganden:

1. Inkrementellt värde vs. komplexitet

‍

Många tillämpningar av LLM erbjuder stegvisa förbättringar jämfört med befintliga lösningar, men med betydligt högre beräknings-, energi- och implementeringskostnader. Som Chitra Sundaram säger: "Att använda en LLM för att beräkna ett enkelt genomsnitt är som att använda en bazooka för att träffa en fluga" (paste-2.txt). Det är viktigt att bedöma om mervärdet motiverar denna komplexitet, särskilt med tanke på följande:

• Behovet av robusta övervakningssystem
• Energikostnader och miljöpåverkan
• Komplexiteten i underhåll och uppdatering
• Krav på specialiserad kompetens

2. Beroende av mänsklig övervakning

‍

De mest framgångsrika användningsfallen har en "människa-i-loopen"-strategi, där LLM:er hjälper till snarare än helt ersätter mänsklig inblandning. Detta tyder på att:

• Full automatisering via LLM är fortfarande problematiskt
• Det främsta värdet ligger i att förbättra mänskliga förmågor, inte att ersätta dem
• Effektiviteten beror på kvaliteten på interaktionen mellan människa och maskin

3. Domänspecificitet kontra generiska tillämpningar

‍

De mest övertygande användningsfallen är de där LLM:er har anpassats och optimerats för specifika domäner, med domänkunskap inbäddad:

• Finjustering av branschspecifika data
• Integration med befintliga system och kunskapskällor
• Skyddsräcken och kontextspecifika begränsningar

4. Integration med befintlig teknik

I de mest effektiva fallen används inte LLM isolerat, utan kompletteras med:

• System för dataåterställning och arkivering (RAG)
• Specialiserade algoritmer och befintliga arbetsflöden
• Verifierings- och kontrollmekanismer

Som framgår av Googles användningsfall möjliggör integrationen av LLM:er i arbetsflöden för säkerhets- och integritetsincidenter "snabbare incidenthantering med hjälp av generativ AI", där genererade sammanfattningar skräddarsys för olika målgrupper, vilket säkerställer att relevant information når rätt personer i det mest användbara formatet.

‍

Slutsats: Ett pragmatiskt förhållningssätt till LLM

Chitra Sundaram ger ett upplysande perspektiv när han säger: "Vägen till hållbar analys handlar om att välja rätt verktyg för jobbet, inte bara att jaga den senaste trenden. Det handlar om att investera i skickliga analytiker och sund datastyrning. Det handlar om att göra hållbarhet till en nyckelprioritet".

‍

Analysen av dessa verkliga användningsfall bekräftar att LLM inte är någon mirakellösning, utan kraftfulla verktyg som, när de tillämpas strategiskt på specifika problem, kan erbjuda betydande värde. Organisationer bör:

1. Identifiering av specifika problem där bearbetning av naturligt språk erbjuder en betydande fördel jämfört med traditionella metoder
2. Börja med pilotprojekt som kan visa värdet snabbt och mätbart
3. Integrera LLM med befintliga system snarare än att helt ersätta arbetsflöden
4. Upprätthålla mekanismer för mänsklig övervakning, särskilt för kritiska tillämpningar
5. Systematisk utvärdering av förhållandet mellan kostnad och nytta, med beaktande av inte bara prestandaförbättringar utan även energi-, underhålls- och uppgraderingskostnader

De företag som trivs i LLM:s tidsålder är inte nödvändigtvis de som använder dem mest, utan de som tillämpar dem mest strategiskt, balanserar innovation och pragmatism och håller ett kritiskt öga på det verkliga värde som genereras bortom hypen.

‍