robots.txt – hva filen gjør, og hvorfor den betyr noe for SEO

Definisjon

robots.txt er en tekstfil som brukes til å styre hvordan søkemotorenes roboter kan gjennomsøke et nettsted, ved å tillate eller blokkere tilgang til bestemte URL-er eller kataloger.

Hva robots.txt gjør

Filen gir instruksjoner til crawlere før de begynner å gjennomsøke. Med regler som Disallow og Allow peker du ut hvilke URL-er eller kataloger robotene skal og ikke skal besøke.

Viktig: robots.txt påvirker gjennomsøkingen – crawlability – ikke hvordan innholdet rangeres. Det er et verktøy for trafikkregulering, ikke et kvalitets- eller rangeringsverktøy.

Den vanligste misforståelsen: robots.txt stopper ikke indeksering

Her går det ofte galt. Å blokkere en URL i robots.txt hindrer Google i å gjennomsøke siden – men ikke nødvendigvis i å indeksere den.

Finner Google en blokkert URL via eksterne lenker, kan den likevel havne i søkeresultatet, men uten tittel og beskrivelse, fordi innholdet aldri er lest. Resultatet blir en side som vises, men ser ødelagt ut. robots.txt er altså feil verktøy for å holde noe borte fra søk.

Slik hindrer du faktisk indeksering

Vil du at en side ikke skal indekseres, bruker du en noindex-tagg – i sidens HTML eller via en HTTP-header. En viktig konsekvens: siden må da være crawlbar, ellers kan Google aldri lese noindex-instruksjonen.

Å både blokkere en side i robots.txt og sette noindex på den er derfor en selvmotsigelse – Google ser aldri noindex-taggen på en blokkert side. Det er en av de vanligste tekniske SEO-feilene.

Hva robots.txt faktisk brukes til

• Blokkere tekniske URL-er – filtre, parametere, interne søkeresultater.
• Holde robotene borte fra lavt prioritert innhold.
• Styre crawl budget mot sidene som faktisk betyr noe.

Poenget er ikke å blokkere mye, men å hjelpe søkemotorer med å bruke ressursene riktig – noe som betyr mest på store nettsteder.

Vanlige og kostbare feil

Feil i robots.txt er en gjentakende årsak til alvorlige SEO-problemer:

• Å blokkere hele nettstedet ved en feil – én enkelt Disallow: / kan slette synligheten.
• Å blokkere CSS og JavaScript, slik at Google ikke kan rendre siden riktig.
• Å stole på robots.txt for å skjule sensitive sider – filen er offentlig og kan leses av hvem som helst.

Kontroller alltid robots.txt etter en lansering eller migrering. Hvordan tekniske feil som dette påvirker synligheten, er beskrevet i synlighet på nett: de 10 vanligste årsakene til at nettsiden ikke rangerer.