HermannHesse hade rätt: alltför komplexa intellektuella system riskerar att koppla bort sig från verkligheten. Idag löper AI samma risk som i "Glaspärlspelet" när den optimerar självrefererande mått istället för att tjäna mänskligheten.
Men Hesse var en romantiker från 1900-talet som föreställde sig ett tydligt val: den intellektuella Castalia kontra den mänskliga världen. Vi lever i en mer nyanserad verklighet: en samevolution där ”interaktioner med sociala robotar eller AI-chattbottar kan påverka våra uppfattningar, attityder och sociala interaktioner” samtidigt som vi formar de algoritmer som formar oss.Överdriven beroende av ChatGPT eller liknande AI-plattformar kan minska en individs förmåga att tänka kritiskt och utveckla självständigt tänkande", men samtidigt utvecklar AI alltmer mänskliga förmågor till kontextuell förståelse.
Det handlar inte om att "sätta människan i centrum igen", utan om att medvetet besluta om och var denna ömsesidiga omvandling ska stoppas.
1943 publicerade Hermann Hesse "Glasperlenspiel" (Glaspärlspelet), en profetisk roman som utspelar sig i en avlägsen framtid. I centrum för berättelsen står Castalia, en utopisk provins som är isolerad från omvärlden av fysiska och intellektuella murar, där en intellektuell elit ägnar sig uteslutande åt att söka ren kunskap.
Castalias hjärta är ett mystiskt och oändligt komplext spel: Glaspärlspelet. Reglerna förklaras aldrig helt, men vi vet att det representerar "en sammanfattning av all mänsklig kunskap" – spelarna etablerar relationer mellan ämnen som till synes är mycket avlägsna från varandra (en Bach-konsert och en matematisk formel, till exempel). Det är ett system av extraordinär intellektuell finess, men helt abstrakt.
När man idag betraktar ekosystemet för de stora teknikföretagen är det svårt att inte se en digital Castalia: företag som skapar allt mer sofistikerade algoritmer, optimerar allt mer komplexa mätvärden, men ofta tappar bort det ursprungliga målet – att tjäna människor i den verkliga världen.
Romanens huvudperson är Josef Knecht, en föräldralös pojke med exceptionella talanger som blir den yngste Magister Ludi (spelets mästare) i Castalias historia. Knecht utmärker sig i Glasperlenspiel som ingen annan, men börjar gradvis uppleva torrheten i ett system som, trots att det är perfekt, är helt frikopplat från verkligheten.
I diplomatiska kontakter med omvärlden – särskilt med Plinio Designori (hans studiekamrat som representerar den ”normala” världen) och fader Jacobus (en benediktinsk historiker) – börjar Knecht inse att Castalia, i sin strävan efter intellektuell perfektion, har skapat ett sterilt och självrefererande system.
Analogin med modern AI är slående: hur många algoritmutvecklare, som Knecht, inser att deras system, hur tekniskt sofistikerade de än må vara, har tappat kontakten med människors verkliga behov?
Amazon: Rekrytering som upprepar det förflutna 2018 upptäckte Amazon att deras automatiska rekryteringssystem systematiskt diskriminerade kvinnor. Algoritmen straffade CV:n som innehöll ordet ”kvinnor” och nedvärderade kvinnor med examen från kvinnliga universitet.
Det var inte ett "moraliskt misslyckande" utan ett optimeringsproblem: systemet hade blivit oerhört bra på att replikera mönster från historiska data utan att ifrågasätta effektiviteten hos dessa mål. Precis som i Spelet med glaspärlorna var det tekniskt perfekt men funktionellt sterilt – det optimerade för "överensstämmelse med det förflutna" istället för "teamets framtida prestanda".
Apple Card: Algoritmer som ärver systemiska fördomar 2019 hamnade Apple Card under utredning när det uppdagades att kortet tilldelade drastiskt lägre kreditgränser till fruar, trots att de hade samma eller högre kreditbetyg.
Algoritmen hade lärt sig att "spela" perfekt enligt finanssystemets osynliga regler, som byggde på årtionden av historisk diskriminering. Precis som Castalia, som hade "fastnat i föråldrade positioner", upprätthöll systemet ineffektiviteter som den verkliga världen höll på att övervinna. Problemet var inte algoritmens intelligens, utan måttstockens olämplighet.
Sociala medier: Oändligt engagemang kontra hållbar välfärd Sociala medier representerar den mest komplexa konvergensen: algoritmer som kopplar samman innehåll, användare och känslor på allt mer sofistikerade sätt, precis som Spelet med glaspärlorna som skapade "relationer mellan till synes mycket avlägsna individer".
Resultatet av att optimera för "engagemang" istället för "hållbar välfärd": tonåringar som tillbringar mer än 3 timmar om dagen på sociala medier löper dubbelt så stor risk att drabbas av psykiska problem. Den problematiska användningen har ökat från 7 % 2018 till 11 % 2022.
Lärdom: Det är inte så att dessa system är "omoraliska", utan att de optimerar för proxy istället för för verkliga mål.
Medicin: Mätvärden i linje med konkreta resultat AI inom medicinen visar vad som händer när konvergensen mellan människa och algoritm utformas för mätvärden som verkligen betyder något:
Dessa system fungerar inte för att de är "mer mänskliga", utan för att måttet är tydligt och entydigt: patientens hälsa. Det finns ingen diskrepans mellan vad algoritmen optimerar och vad människor verkligen vill.
Spotify: Anti-Bias som konkurrensfördel Medan Amazon upprepade tidigare fördomar, insåg Spotify att diversifiering av rekryteringen är en strategisk fördel. De kombinerar strukturerade intervjuer med AI för att identifiera och korrigera omedvetna fördomar.
Det är inte altruism utan systemisk intelligens: olika team presterar bättre, så att optimera för mångfald är att optimera för prestanda. Konvergens fungerar eftersom den anpassar moraliska mål och affärsmål.
Wikipedia: Skalbar balans Wikipedia visar att det är möjligt att upprätthålla komplexa system utan självreferenser: det använder avancerad teknik (AI för moderering, algoritmer för rankning) men förblir troget målet om "tillgänglig och verifierad kunskap".
I över 20 år har han visat att teknisk sofistikation + mänsklig övervakning kan förhindra Castalias isolering. Hemligheten: mätningen sker utanför själva systemet (nyttan för läsaren, inte förbättring av det interna spelet).
System som fungerar har tre gemensamma egenskaper:
Det är inte så att Amazon, Apple och sociala medier har "misslyckats" – de har helt enkelt optimerat för andra mål än de som angivits. Amazon ville ha effektivitet i rekryteringen, Apple ville minska kreditrisken, sociala medier ville maximera användningstiden. De har lyckats perfekt.
"Problemet" uppstår först när dessa interna mål kommer i konflikt med bredare sociala förväntningar. Systemet fungerar när dessa mål är samstämmiga, men blir ineffektivt när de inte är det.
I romanen gör Josef Knecht det mest revolutionerande man kan tänka sig: han avsäger sig sin tjänst som Magister Ludi för att återvända till den verkliga världen som lärare. Det är en handling som ”bryter en sekellång tradition”.
Knechts filosofi: Castalia har blivit sterilt och självrefererande. Den enda lösningen är att överge systemet för att återknyta kontakten med den äkta mänskligheten. Ett binärt val: antingen Castalia eller den verkliga världen.
Det finns ingen anledning att lämna Castalia – jag trivs där. Problemet är inte systemet i sig, utan hur det optimeras. Istället för att fly från komplexiteten föredrar jag att hantera den medvetet.
Min filosofi: Castalia är inte i sig sterilt – det är bara dåligt konfigurerat. Lösningen är inte att lämna det, utan att utvecklas inifrån genom pragmatisk optimering.
Knecht (1943): Humanist från 1900-talet
Jag (2025): Etik i den digitala tidsåldern
Skillnaden ligger inte mellan etik och pragmatism, utan mellan två etiska tillvägagångssätt som passar olika epoker. Hesse verkade i en värld av statisk teknik där det bara verkade finnas två valmöjligheter.
I romanen drunknar Knecht kort efter att han lämnat Castalia. Det ironiska är att han flyr för att "återansluta sig till det verkliga livet", men hans död orsakas av hans oerfarenhet i den fysiska världen.
Hesse föreställde sig 1943 en dikotomi: antingen Castalia (ett perfekt men sterilt intellektuellt system) eller den yttre världen (mänsklig men oorganiserad). Hans "principer" härrör från denna moraliska syn på konflikten mellan intellektuell renhet och mänsklig äkthet.
Lärdomen för 2025: Den som flyr från komplexa system utan att förstå dem riskerar att vara ineffektiv även i den ”enkla” världen. Det är bättre att bemästra komplexiteten än att fly från den.
Hesses intuition: Castalia misslyckas eftersom det isolerar sig bakom murar. AI-system måste ha "öppna dörrar": transparens i beslutsprocesserna och möjlighet till mänsklig överprövning.
Implementering 2025: Principen om strategisk observerbarhet
Hesses intuition: I romanen representerar Designori den "normala världen" som utmanar Castalia. Varje AI-system bör klara "Designori-testet": vara begripligt för dem som inte är tekniska experter.
Implementering 2025: Test av operativ kompatibilitet
Hesses intuition: Benediktinermunken representerar praktisk visdom. Innan man implementerar någon AI: "Tjänar denna teknik verkligen det långsiktiga allmänna bästa?"
Implementering 2025: Parametrar för systemisk hållbarhet
Hesses intuition: Knecht väljer att undervisa eftersom han vill "påverka en mer konkret verklighet". De bästa AI-systemen är de som "undervisar" – som gör människor mer kompetenta.
Implementering 2025: Principen om ömsesidig förstärkning
Hesse hade rätt i frågan: intellektuella system kan bli självrefererande och förlora kontakten med verklig effektivitet.
Hans lösning speglade de tekniska begränsningarna på hans tid:
2025 har vi nya möjligheter:
Hesses fyra principer gäller fortfarande. Våra fyra parametrar är helt enkelt tekniska tillämpningar av samma principer, optimerade för den digitala tidsåldern.
Hesse skulle fråga:
Vi måste också fråga oss följande år 2025:
Det är inte motsatta frågor utan kompletterande frågor. Våra är operativa tillämpningar av Hesses insikter, anpassade till system som kan utvecklas istället för att bara accepteras eller avvisas.
Hesse var en visionär som korrekt identifierade risken med självrefererande system. Hans lösningar speglade möjligheterna i hans tid: universella etiska principer för att styra binära val.
Vi år 2025 delar hans mål, men vi har andra verktyg: system som kan omprogrammeras, mått som kan omkalibreras, konvergenser som kan omformas.
Vi ersätter inte etik med pragmatism. Vi utvecklas från en etik baserad på fasta principer till en etik baserad på anpassningsbara system.
Skillnaden ligger inte mellan "bra" och "nyttigt" utan mellan statiska etiska tillvägagångssätt och evolutionära etiska tillvägagångssätt.
Det finns redan tekniska verktyg för utvecklare som vill följa Knechts exempel:
Källa: Etiska AI-verktyg 2024
Hesse skrev att Castalia var dömd att förfalla eftersom den hade blivit "för abstrakt och isolerad". Idag ser vi de första tecknen på detta:
Lösningen är inte att överge AI (precis som Knecht inte överger kunskap), utan att omdefiniera dess syfte:
Hesses roman har ett slut som speglar sin tids begränsningar: Knecht, som nyligen lämnat Castalia för att åter ansluta sig till det verkliga livet, drunknar när han jagar sin unge elev Tito i en frusen sjö.
Hesse presenterar detta som ett "tragiskt men nödvändigt" slut – det offer som inspirerar till förändring. Men år 2025 håller denna logik inte längre.
Hesse föreställde sig bara två möjliga öden:
Vi har ett tredje alternativ som han inte kunde föreställa sig: system som utvecklas istället för att gå sönder.
Vi behöver inte välja mellan teknisk förfining och mänsklig effektivitet. Vi behöver inte "undvika Castalias öde" – vi kan optimera det.
År 2025 är artificiell intelligens inte ett hot som man måste fly från, utan en process som måste styras.
Den verkliga risken är inte att AI blir för intelligent, utan att den blir för bra på att optimera för felaktiga mått i världar som blir alltmer isolerade från den operativa verkligheten.
Den verkliga möjligheten är inte att "bevara mänskligheten" utan att utforma system som förstärker alla komponenters kapacitet.
Frågan för varje utvecklare, varje företag, varje användare är inte längre den som Hesse ställde: "Bygg vi Castalia eller följer vi Knechts exempel?"
Frågan för 2025 är: "Optimerar vi för rätt mätvärden?"
Skillnaden är inte moralisk utan teknisk: vissa system fungerar, andra inte.
Knecht verkade i en värld där systemen var statiska: när de väl hade skapats förblev de oföränderliga. Hans enda möjlighet att förändra Castalia var att lämna det – en modig handling som krävde att han offrade sin egen position.
År 2025 har vi system som kan utvecklas. Vi behöver inte välja en gång för alla mellan Castalia och omvärlden – vi kan forma Castalia så att det bättre tjänar omvärlden.
Hesses verkliga lärdom är inte att vi måste fly från komplexa system, utan att vi måste vara vaksamma på deras inriktning. 1943 innebar detta att ha modet att överge Castalia. Idag innebär det att ha kompetensen att omforma det.
Frågan är inte längre: "Ska jag stanna eller gå?" Frågan är: "Hur kan jag se till att detta system verkligen tjänar det syfte det är avsett att tjäna?"
Dokumenterade fall:
AI-framgångar:
Etiska verktyg:
Litterära fördjupningar:
💡 För ditt företag: Skapar dina AI-system verkligt värde eller bara teknisk komplexitet? Undvik dolda kostnader för algoritmer som optimerar felaktiga mätvärden – från diskriminerande fördomar till förlorat kundförtroende. Vi erbjuder AI-revisioner med fokus på konkret avkastning, regelefterlevnad och långsiktig hållbarhet. Kontakta oss för en kostnadsfri utvärdering som identifierar var dina algoritmer kan generera mest affärsvärde och minst juridiska risker.
.svg)
.svg)
.svg)
.jpeg)
.jpeg)