Crawlability – vad det är och varför det spelar roll
Definition
Crawlability vs indexering – två olika saker
De två begreppen blandas ofta ihop, men de är skilda steg:
- Crawlability – kan sökmotorn nå och läsa sidan?
- Indexering – väljer sökmotorn att spara sidan i sitt index?
En sida måste vara crawlbar för att kunna indexeras, men crawlbar betyder inte automatiskt indexerad. Google kan genomsöka en sida och ändå välja att inte ta med den. Crawlability är ett nödvändigt men inte tillräckligt villkor för synlighet.
Vad påverkar crawlability?
God crawlability bygger på flera faktorer som samverkar:
- Internlänkning – varje viktig sida behöver flera vägar in. En sida helt utan interna länkar, en orphan page (föräldralös sida), hittas sällan.
- URL-struktur – logiska, läsbara adresser gör webbplatsen begriplig.
- Sajtdjup – sidor som ligger många klick från startsidan genomsöks mer sällan.
- robots.txt – styr vad robotarna får och inte får genomsöka.
- Tekniska hinder – trasiga länkar, långsamma svar och felaktiga statuskoder bromsar genomsökningen.
Crawl budget – och när det faktiskt spelar roll
Google avsätter en viss mängd resurser för att genomsöka varje webbplats – en crawl budget. Den styrs av två saker: hur snabbt servern svarar, och hur angelägen Google är att genomsöka webbplatsen.
För de flesta mindre och medelstora webbplatser är crawl budget inget problem – Google hinner med ändå. Det blir relevant först vid stora webbplatser med tusentals sidor, särskilt e-handel med filter- och parameter-URL:er som kan generera närmast oändligt många varianter. Då gäller det att inte låta robotarna slösa tid på sidor som inte spelar roll.
Vanliga hinder för crawlability
De vanligaste orsakerna till att sidor inte genomsöks:
- Viktiga sidor saknar interna länkar.
- robots.txt blockerar av misstag sidor eller resurser som CSS och JavaScript.
- Långa redirect-kedjor som äter crawl budget.
- Innehåll som bara renderas via JavaScript som Google inte kör fullt ut.
Crawlability i AI-sök
I en AI-driven sökmiljö är crawlability lika grundläggande som tidigare. RAG-baserade system kan bara använda innehåll som faktiskt går att hämta. Är dina sidor inte crawlbara kan de varken indexeras, citeras eller användas som källa i ett AI-svar.
Crawlability är med andra ord inget avancerat finlir, utan ett grundvillkor. Att en hemsida inte rankar kan ofta spåras just hit – mer om de vanligaste orsakerna i Hemsida rankar inte? 10 vanligaste orsakerna.