Tillkännagivandet av 'Jordgubbe" från OpenAI har riktat strålkastarljuset mot en grundläggande begränsning hos språkmodeller: deras oförmåga att analysera enskilda bokstäver i ord. Denna svaghet avslöjar djupgående aspekter av hur de fungerar.

Problemet med att räkna

När ChatGPT ombeds att räkna "r" i ordet "strawberry" blir det ofta fel. Detta fel beror inte på bristande intelligens, utan på hur språkmodeller analyserar text. För att förstå varför måste man känna till begreppet tokenisering.

Världen sedd genom polletter

Språkmodeller ser inte ord som sekvenser av bokstäver, utan som "tokens" - meningsenheter som omvandlats till siffror. Det är som att läsa en bok där varje ord ersätts av en sifferkod. Ordet "skolböcker", till exempel, delas upp i två separata tokens: "skola" och "böcker". Detta förklarar varför modellen har svårt att räkna "o" i detta ord korrekt - den ser det faktiskt inte som ett ord.

Ett belysande exempel

Föreställ dig att du lär dig ett språk där ordet "skola" alltid representeras av siffran "412". Om någon frågade dig hur många "o" det finns i "412" skulle du inte kunna svara rätt utan att någonsin ha sett ordet utskrivet i sin helhet. Språkmodeller befinner sig i en liknande situation: de bearbetar betydelser genom siffror, utan tillgång till den bokstavliga sammansättningen av ord.

Utmaningen med sammansatta ord

Problemet blir ännu värre med sammansatta ord. "Timekeeper" är uppdelat i separata tokens, vilket gör det svårt för modellen att avgöra den exakta positionen för bokstäverna "och". Denna fragmentering påverkar inte bara bokstavsräkningen utan även förståelsen av den interna ordstrukturen.

Lösningen på jordgubbsproblemet (kanske)

Den framtida OpenAI-modellen Strawberry bör övervinna denna begränsning genom att introducera ett innovativt tillvägagångssätt för textbearbetning. Istället för att enbart förlita sig på traditionell tokenisering ska modellen kunna analysera ord på bokstavsnivå, vilket möjliggör mer exakta räkne- och analysoperationer.

Framtida konsekvenser

Betydelsen av detta problem går utöver enkel bokstavsräkning. Den här detaljerade analysförmågan kan avsevärt förbättra AI-modellernas språkliga förståelse och göra det möjligt för dem att hantera problem som kräver detaljerad textanalys på teckennivå.

Den planerade integrationen av denna teknik kommer att vara ett stort framsteg i riktning mot språkmodeller som är mer kapabla att "resonera" om de grundläggande detaljerna i språket, inte bara statistiska mönster.

‍