robots.txt – vad filen gör och varför den spelar roll för SEO

Definition

robots.txt är en textfil som används för att styra hur sökmotorers robotar får genomsöka en webbplats genom att tillåta eller blockera åtkomst till specifika URL:er eller kataloger.

Vad robots.txt gör

Filen ger instruktioner till crawlers innan de börjar genomsöka. Med regler som Disallow och Allow pekar du ut vilka URL:er eller kataloger robotarna ska respektive inte ska besöka.

Viktigt: robots.txt påverkar genomsökningen – crawlability – inte hur innehållet rankas. Det är ett trafikregleringsverktyg, inte ett kvalitets- eller rankingverktyg.

Det vanligaste missförståndet: robots.txt stoppar inte indexering

Här går det ofta fel. Att blockera en URL i robots.txt hindrar Google från att genomsöka sidan – men inte nödvändigtvis från att indexera den.

Hittar Google en blockerad URL via externa länkar kan den ändå hamna i sökresultatet, fast utan titel och beskrivning eftersom innehållet aldrig lästs. Resultatet blir en sida som syns, men ser trasig ut. robots.txt är alltså fel verktyg för att hålla något borta från sök.

Hur du faktiskt hindrar indexering

Vill du att en sida inte ska indexeras använder du en noindex-tagg – i sidans HTML eller via en HTTP-header. En viktig konsekvens: sidan måste då vara crawlbar, annars kan Google aldrig läsa noindex-instruktionen.

Att både blockera en sida i robots.txt och sätta noindex på den är därför en motsägelse – Google ser aldrig noindex-taggen på en blockerad sida. Det är ett av de vanligaste tekniska SEO-felen.

Vad robots.txt faktiskt används till

• Blockera tekniska URL:er – filter, parametrar, interna sökresultat.
• Hålla robotarna borta från lågprioriterat innehåll.
• Styra crawl budget mot de sidor som faktiskt betyder något.

Poängen är inte att blockera mycket, utan att hjälpa sökmotorer att lägga resurserna rätt – något som spelar störst roll på stora webbplatser.

Vanliga och kostsamma misstag

Felaktig robots.txt är en återkommande orsak till allvarliga SEO-problem:

• Att av misstag blockera hela sajten – ett enda Disallow: / kan radera synligheten.
• Att blockera CSS och JavaScript, så att Google inte kan rendera sidan korrekt.
• Att förlita sig på robots.txt för att dölja känsliga sidor – filen är offentlig och kan läsas av vem som helst.

Kontrollera alltid robots.txt efter en lansering eller migrering. Hur tekniska fel som detta påverkar synligheten finns beskrivet i Hemsida rankar inte? 10 vanligaste orsakerna.