Crawling og crawlability – hva det er, og hvorfor det betyr noe

Definisjon

Crawling er når søkemotorer finner, når og gjennomsøker sidene på et nettsted, og crawlability beskriver hvor lett det er for dem.

Crawling vs. indeksering – to forskjellige ting

De to begrepene blandes ofte sammen, men de er ulike steg:

• Crawling (og crawlability) – kan søkemotoren nå og lese siden?
• Indeksering – velger søkemotoren å lagre siden i indeksen sin?

En side må kunne crawles for å kunne indekseres, men at den kan crawles, betyr ikke automatisk at den blir indeksert. Google kan gjennomsøke en side og likevel velge å ikke ta den med. Crawlability er et nødvendig, men ikke tilstrekkelig vilkår for synlighet.

Hva påvirker crawlability?

God crawlability bygger på flere faktorer som virker sammen:

• Internlenking – hver viktig side trenger flere veier inn. En side helt uten interne lenker, en foreldreløs side (orphan page), blir sjelden funnet.
• URL-struktur – logiske, lesbare adresser gjør nettstedet forståelig.
• Nettstedsdybde – sider som ligger mange klikk fra forsiden, gjennomsøkes sjeldnere.
• robots.txt – styrer hva robotene får og ikke får gjennomsøke.
• Tekniske hindringer – ødelagte lenker, trege svar og feil statuskoder bremser gjennomsøkingen.

Crawl-budsjett – og når det faktisk betyr noe

Google setter av en viss mengde ressurser til å gjennomsøke hvert nettsted – et crawl-budsjett (crawl budget). Det styres av to ting: hvor raskt serveren svarer, og hvor ivrig Google er etter å gjennomsøke nettstedet.

For de fleste små og mellomstore nettsteder er crawl-budsjettet ikke noe problem – Google rekker over alt likevel. Det blir relevant først på store nettsteder med tusenvis av sider, særlig nettbutikker med filter- og parameter-URL-er som kan generere nærmest uendelig mange varianter. Da gjelder det å ikke la robotene kaste bort tid på sider som ikke betyr noe.

Vanlige hindringer for crawling

De vanligste årsakene til at sider ikke blir gjennomsøkt:

• Viktige sider mangler interne lenker.
• robots.txt blokkerer ved en feil sider eller ressurser som CSS og JavaScript.
• Lange omdirigeringskjeder som spiser av crawl-budsjettet.
• Innhold som bare rendres via JavaScript som Google ikke kjører fullt ut.

Crawlability i KI-søk

I et søkemiljø drevet av kunstig intelligens (KI) er crawlability like grunnleggende som før. RAG-baserte systemer kan bare bruke innhold som faktisk lar seg hente. Kan sidene dine ikke crawles, kan de verken indekseres, siteres eller brukes som kilde i et KI-svar.

Crawlability er med andre ord ikke avansert finpuss, men et grunnvilkår. At en hjemmeside ikke rangerer, kan ofte spores nettopp hit – mer om de vanligste årsakene i Synlighet på nett: 10 grunner til at nettsiden ikke rangerer.