451 är uppkallad efter en bok om censur – och används till precis vad ordet antyder
HTTP 451, Unavailable For Legal Reasons, är en av de yngre statuskoderna i registret, och namnet är en medveten nick till Ray Bradburys Fahrenheit 451. Den används när innehåll hålls tillbaka av juridiska skäl: geoblockering på grund av licens- eller distributionsavtal, GDPR-relaterad blockering av besökare från vissa regioner, eller direkta förelägganden från en myndighet. Det är en giltig och i många fall nödvändig kod.
Problemet uppstår inte av att koden finns. Det uppstår när regeln som utlöser den – eller en enklare 403-variant av samma geo-fencing – är satt med en annan motivering än juridik: för att spara bandbredd, för att minska brus från utländska bottar, eller ”eftersom vi ändå bara säljer i Norden”. Den motiveringen har en helt annan konsekvens än den som satte regeln trodde.
Dold AEO-dödare: AI-crawlers bor i amerikanska datacenter
En regel som ”blockera allt utanför Norden” utgår från ett antagande: att avsändar-IP talar om var användaren faktiskt är. Det stämmer i stort för människor som surfar från sin egen internetleverantör. Det stämmer inte för AI-crawlers.
De stora AI-företagens infrastruktur körs till stor del från egna datacenter, som huvudsakligen ligger i USA, oberoende av var personen som faktiskt ställer frågan befinner sig. En nordisk användare som frågar en AI-modell om en nordisk leverantör kan utlösa en hämtning av webbsidan från en amerikansk IP-adress. Sett från en regel som geoblockerar ”icke-nordisk trafik” ser den hämtningen identisk ut med brus från utlandet – och blockeras på samma sätt.
Resultatet: du trodde att du skyddade dig mot oönskad utländsk trafik. Du blockerade samtidigt ChatGPT.
Det omvända problemet: amerikanska medier som 451:ar EU-besökare
Spegelbilden av detta har varit synlig i flera år: en rad amerikanska nyhetssajter valde efter att GDPR trädde i kraft att svara med 451 till alla besökare från EU, i stället för att bygga om sin personuppgiftshantering. Där var konsekvensen känd och önskad – de accepterade att förlora en publik för att slippa compliance-arbetet.
Nordiska geo-regler mot ”icke-nordisk trafik” är ofta det motsatta fallet: konsekvensen är varken känd eller önskad. Ingen satte regeln för att bli osynlig för AI – den sattes för ett annat syfte, och AI-synlighet var inte en del av bedömningen då, eftersom AI-crawlers knappt fanns som trafikkälla.
Region eller datacenter: två regler som ser likadana ut, men träffar helt olika
Det finns en precis version av geoblockering som löser det ursprungliga problemet utan att ta med sig AI-crawlarna i fallet: att blockera efter ASN (Autonomous System Number) i stället för efter land. En ASN-baserad regel riktar sig mot kända moln- och hostingnätverk – precis där bottar och skript typiskt körs från – i stället för mot ett helt lands samlade IP-rymd, som också innehåller vanliga konsumenters internetleverantörer.
| Tillvägagångssätt | Vad den faktiskt träffar | AEO-bedömning |
|---|---|---|
| Blockera hela länder/regioner (t.ex. ”allt utanför Norden”) | Allt från det landet – vanliga läsare, potentiella kunder på semester eller resa, och AI-crawlers som huvudsakligen körs från amerikanska datacenter-IP:n. | Hög risk. Träffar ChatGPT, Claude och de flesta andra AI-crawlers direkt. |
| Blockera efter ASN/datacenter (molnblock, cloud-leverantörer) | Trafik från kända moln- och hostingnätverk – i praktiken nästan uteslutande bottar, skript och crawlers, inte vanliga konsumenters internetleverantörer. | Låg risk för vanliga läsare, men träffar fortfarande AI-crawlers om de inte allowlistas explicit. |
| Allowlist för verifierade AI-crawlers, blockera resten som förut | Overifierad bot- och skripttrafik fortsätter att stoppas, medan namngivna, verifierade AI-crawlers släpps igenom oavsett vilken geo- eller ASN-regel som annars gäller. | Rekommenderas. Behåller skyddet utan att offra AI-synlighet. |
Även en välriktad ASN-regel träffar ändå AI-crawlers, eftersom många av dem just körs från den typen av infrastruktur. Den sista, avgörande pusselbiten är därför ett explicit undantag.
Lösningen: allowlist för verifierade AI-crawlers, inte borttagande av regeln
Rätt ordning är att behålla geo- eller ASN-regeln för allt den ursprungligen löste ett problem för, och lägga en allowlist ovanpå den för namngivna, verifierade AI-crawlers: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot och Google-Extended, verifierade via reverse DNS eller leverantörens publicerade IP-listor – inte bara via user agent- strängen, som är trivial att förfalska. Detta ger dig skyddet tillbaka utan att offra synligheten i AI-svar.
Så testar du din egen sida
Självkoll. Hämta din sida genom en amerikansk VPN eller proxy – eller be någon med amerikansk IP-adress göra det åt dig – och titta på statuskoden som kommer tillbaka. Allt annat än 200 betyder att du är osynlig precis där de flesta AI-modellerna hämtar sitt innehåll ifrån.
Får du 451 eller 403, gå vidare till att ta reda på om regeln bakom är en region- eller en ASN-regel, och lägg till allowlisten från föregående stycke. Får du 200 kan du kryssa av geoblockering från listan över tysta citeringstjuvar – men värt att kolla igen nästa gång någon ändrar en WAF- eller CDN-konfiguration utan att tänka på AI-crawlers specifikt.
Vanliga frågor
Är det fel att använda 451 eller geoblockering över huvud taget?
Varför körs AI-crawlers från amerikanska IP:n även om de ska representera en nordisk användare?
Är det skillnad på att blockera ett land och att blockera ett datacenter?
Vad gör jag om jag redan har en geo-regel som jag inte minns vem som satte?
Var detta till hjälp?