Newsletter

Pay per crawl-revolutionen: Hur publicister kan tjäna pengar på AI-trafik

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

Tiden för gratis insamling av innehåll från webben går mot sitt slut. Här är hur nya plattformar förvandlar AI-botar från icke-betalande besökare till riktiga kunder.

Problemet: När AI bryter mot pakten med publicisterna

Google-modellen: En balans som fungerade

I över tjugo år fungerade webben enligt en oskriven pakt: Google och andra sökmotorer indexerade utgivarnas innehåll gratis, visade utdrag och sammanfattningar på deras sidor, men skickade i gengäld massiv trafik tillbaka till de ursprungliga webbplatserna. Utgivarna accepterade denna "användning" av deras innehåll eftersom de fick synlighet, läsare och därmed annonsintäkter.

Google News har fulländat denna modell: den samlar nyheter från tusentals källor, visar rubriker och korta utdrag, men varje klick tar användaren till den ursprungliga webbplatsen. En win-win-balans som har upprätthållit det digitala ekosystemet för information.

AI bryter balansen

Tänk dig nu att du driver en nyhetssajt och upptäcker att tusentals AI-robotar varje dag skannar dina artiklar, använder innehållet för att mata sina mallar och ger användarna fullständiga svar, utan att någonsin skicka trafik tillbaka till din webbplats. AI som inte genererar länkar och inte genererar klick: det svarar direkt. Välkommen till verkligheten 2025.

Enligt Cloudflares data kommer 80 procent av AI:s crawlingaktivitet i mitten av 2025 att vara för träningsmodeller, medan hänvisningar till publicister (särskilt från Google) minskar dramatiskt. Den modell som fungerade i tjugo år håller på att falla sönder: Google självt, med sina AI-översikter, skickar allt mindre trafik till de ursprungliga webbplatserna. Förhållandet mellan crawl och referenser visar chockerande siffror: Anthropic har ett förhållande på 38.000 crawls per besökare som skickas till webbplatsen, medan OpenAI når 1.700:1.

Men tänk om robotarna kunde bli betalande kunder i stället för att bara vara gratiskonsumenter av innehåll? Det är dags för ett nytt avtal: om AI inte längre kan garantera returtrafik som Google gjorde, måste det åtminstone betala för tillgång till innehåll.

Lösningen: Pay Per Crawl och AI-mikrobetalningar

Cloudflare öppnar danserna

Juli 2025, Cloudflare meddelade att de hade blivit det första internetinfrastrukturföretaget att blockera AI-crawlers som standard, samtidigt som de införde systemet "Pay Per Crawl". Vad är nyheten? Varje ny domän som registreras hos Cloudflare får nu en uttrycklig fråga om de vill tillåta AI-crawlers att komma åt innehåll.

Men det som verkligen förändrar spelplanen är den marknadsplats där utgivare kan ta ut avgifter från AI-företag varje gång en av deras sidor skannas. Inte längre bara "tillåta" eller "blockera", utan ett tredje alternativ: "ta betalt".

TollBit: Pionjär inom AI-mikrobetalning

Redan före Cloudflare, hade TollBit börjat bygga denna infrastruktur. Startup-företaget, som nyligen samlade in 24 miljoner dollar i serie Ahar skapat en plattform där AI-botar direkt kan betala webbplatser för att använda deras innehåll.

TIME och Adweek är bland de första kunderna som experimenterar med den här modellen och upptäcker att AI representerar en ny kategori kunder med specifika behov.

Siffrorna: Hur mycket kan du verkligen tjäna?

TollBit-prognoser

Enligt en detaljerad analyskan TollBit redan generera cirka 71 miljoner dollar per år för sina publiceringspartners. Detta är hur:

  • Trafiken växer exponentiellt: AI-bottrafiken till TollBits kundwebbplatser fördubblades varje kvartal
  • Q4 2024: 2,75 miljoner dagliga bot-åtkomster
  • Q1 2025: 6,5 miljoner träffar
  • Prognos Q2 2025: 13 miljoner accesser

Med en typisk CPM på 15 dollar för innehållssajter innebär detta 195 000 dollar per dag i potentiella intäkter för TollBit-ekosystemet, eller över 71 miljoner dollar per år.

Prissättningsmodellen

TollBit föreslår två prissättningsnivåer:

  • Sammanfattningsgrad: För robotar som vill sammanfatta innehåll
  • Syndikeringsgrad: mycket högre, för robotar som vill visa hela artikeln

Skillnaden kan vara betydande, vilket gör detta till en särskilt attraktiv modell för premium- och specialinnehåll.

Faktiska data från fältet

En TollBit-analys av 160 webbplatser visade att AI-företag skannade i genomsnitt 2 miljoner gånger under Q4 2024. Varje sida skannades i genomsnitt 7 gånger.

Toshit Panigrahi, medgrundare av TollBit, förklarar: "Bottrafiken som genereras av dessa AI-plattformar är nästan lika stor som bottrafiken för sökmotorer som har funnits i 20 år, vilket är otroligt."

Det föränderliga ekosystemet

DataDome: Skydd och intäktsgenerering

DataDome har samarbetat med både TollBit och andra plattformar för att erbjuda en integrerad lösning: realtidsskydd mot skadliga robotar och monetarisering av kompatibla robotar.

Deras data visar att AI-trafiken har tredubblats på bara sex månader, från 2,6 procent till 8,2 procent av all verifierad bottrafik.

Skyfire: AI-betalningsnätverket

Skyfire representerar ett annorlunda tillvägagångssättgenom att bygga ett helt betalningsnätverk för autonoma AI-agenter. Med 8,5 miljoner dollar insamlade och partnerskap med företag som DataDome, siktar Skyfire på att bli standardbetalningsinfrastrukturen för AI-ekonomin.

Konsekvenser för utgivare: Möjligheter och utmaningar

De konkreta fördelarna

  1. Ny intäktskälla: Diversifiering bortom traditionell reklam
  2. Granulär kontroll: Möjlighet att välja vilka bots som ska släppas in och till vilket pris
  3. Synlighet omfattandeDetaljerade instrumentpaneler om vem som har tillgång till innehållet och hur ofta
  4. Direkt ersättning: Omedelbara betalningar utan mellanhänder som förmedlar reklam

Realistiska utmaningar

  1. Begränsad användning: Alla AI-företag kommer inte att gå med på att betala
  2. Komplex prissättning: Svårt att fastställa rätt värde för varje innehållstyp
  3. Tillämpning: Många robotar kommer att fortsätta att ignorera reglerna (från 3,3 procent 2024 till 13 procent i mars 2025)
  4. Storskalighet krävs: mikrobetalningar blir betydelsefulla först vid stora volymer

Realistiska prognoser för utgivarna

Tröskeln för bekvämlighet: Blockering lönar sig inte alltid

Innan vi analyserar siffrorna är det viktigt att betona att Pay Per Crawl inte är bekvämt för alla. För webbplatser med begränsad trafik kan det vara strategiskt mer fördelaktigt att ge fri tillgång till AI-botar: det ökar upptäckbarheten av innehåll i AI-system, bygger relationer med nya plattformar och positionerar webbplatsen som "AI-vänlig" för framtida möjligheter.

Direkt monetarisering blir attraktivt först när volymerna motiverar komplexiteten i hanteringen och implementeringskostnaderna.

För små webbplatser (10 000 besök/månad)

  • Uppskattad bot-trafik: 500-1.000 AI-åtkomster/månad
  • Potentiell intäkt: 5-50 USD/månad (beroende på CPM och acceptansgrad)
  • Påverkan: Marginell, ofta bättre att hålla öppet för synlighet
  • Rekommendation: Övervaka och utvärdera strategisk fri tillgång

För medelstora webbplatser (100 000 besök/månad)

  • Uppskattad bot-trafik: 5.000-15.000 AI-åtkomster/månad
  • Potentiell intäkt: $75-750/månad
  • Impact: Tröskelvärde där det börjar bli meningsfullt att överväga monetarisering
  • Rekommendation: Experimentera med betalt premiuminnehåll

För stora utgivare (1 miljon besök/månad)

  • Uppskattad bot-trafik: 50.000-200.000+ AI-åtkomst/månad
  • Potentiell intäkt: 750-10 000+ USD/månad
  • Effekt: Potentiellt betydande nytt affärsområde
  • Rekommendation: Omedelbar implementering rekommenderas

Framtiden för innehållslicensiering

Prashanth Chandrasekar, VD för Stack Overflowsammanfattar situationen perfekt: "Gemenskapsplattformar som driver LLM:er bör kompenseras för sina bidrag så att de kan återinvestera i sina samhällen."

Med AI-till-AI-handel beräknas uppgå till 46 miljarder dollar under de kommande tre årenkan utgivare som positionerar sig tidigt i detta ekosystem få en betydande konkurrensfördel.

Slutsats: Dags att agera?

Pay Per Crawl" är inte längre science fiction, utan en operativ verklighet. För utgivarna är frågan inte om modellen kommer att slå igenom, utan om och när de kan anpassa sig för att ta tillvara på värdet.

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

Prognoserna visar på attraktiva potentiella intäkter för medelstora och stora utgivare, särskilt för kvalitetsinnehåll och betydande trafik. Framgång kommer dock att bero på förmågan att:

  1. Utvärdera din bekvämlighetströskel (volym kontra komplexitet i hanteringen)
  2. Välj den strategi rätt (fri tillgång, total blockering eller intäktsgenerering)
  3. Välja rätt plattform (Cloudflare, TollBit eller integrerade lösningar)
  4. Konkurrenskraftig men lönsam prissättning
  5. Upprätthålla innehållskvalitet som motiverar mikrobetalningar
  6. Kontinuerlig övervakning och optimering av tillvägagångssättet

För publicister med stor trafik som är villiga att experimentera kan 2025 vara året då AI slutar att vara en kostnad och äntligen blir en affärsmöjlighet. För alla andra kan det vara dags att bygga grunden för att ta vara på denna möjlighet i framtiden.

Huvudkällor:

Resurser för företagstillväxt