Vad är robots.txt?

Vad är robots.txt?

Ett verktyg du kan nyttja för att se till att innehåll går att nås från specifika tjänster, eller neka dem för samtliga tjänster, är robots.txt — så här gör du.

Det hela handlar om att försöka kontrollera de robotar, som även kallas spindlar, som gräver igenom din sida och indexerar dess information.

För nybörjare rekommenderar jag att ha en så enkel robots.txt som möjligt. Här går vi igenom grunderna och bjuder på ett par exempel så att du själv ska förstå helheten.

Vänliga robotar

De allra flesta robotar som besöker din sida är vänliga, och tillhör exempelvis Google, Bing eller andra sökmotorer. Dessa robotar respekterar innehållet i robots.txt på din webbplats och kommer att strunta i att besöka sidan om du skriver att de inte får.

Utöver dem finns det även robotar som inte är ute efter att indexera din webbplats så att den kan synas på sökresultaten hos sökmotorerna, utan istället för att hitta hål i din kod. Dessa robotar lyssnar inte på robots.txt och du behöver därför inte bry dig om att försöka blockera dem där.

Exempel på robots.txt

Här följer flera olika exempel av hur robots.txt kan se ut, så att du snabbt kan bilda dig en uppfattning om både upplägg och omfattning.

Tillåt alla robotar

Till att börja med tänkte jag visa en robots.txt-variant som tillåter samtliga robotar att besöka och indexera din webbplats — detta för att underlätta för dem som undrar hur de ska sätta upp den för att ha det gjort och komma igång så snabbt som möjligt.

User-agent: *
Disallow: 

Vi säger med stjärnan * att vi vill berätta för samtliga robotar att vi inte nekar åtkomst (disallow är tomt) till någon plats på vår webbplats.

Neka alla robotar

Om du istället vill begränsa samtliga robotar från att indexera din webbplats kan du spara en fil med namnet robots.txt i mappen som du vill dölja. Fyll på innehållet i filen så att det överensstämmer med texten nedan.

User-agent: *
Disallow: /

Nu har vi sagt till den robot som besöker vår mapp att samtliga robotar ska lyssna på uppmaningen, därav stjärnan * vid User-agent, samt att uppmaningen är att ingen tillåts gå vidare överhuvudtaget.

Neka alla robotar till viss mapp

Om vi istället vill neka åtkomst till en specifik mapp på vår webbplats kan vi med enkelhet göra även det.

User-agent: *
Disallow: bilder/

Här finns alltså även möjligheten att begränsa specifika sökmotorer från att indexera vår webbplats.

Neka Google till specifik mapp

Om du önskar att Google nekas indexering, men fortfarande vill tillåta Bing eller Twitter från att titta på din sida, kan du lägga till agenten du vill neka i robots.txt.

User-agent: Googlebot
Disallow: bilder/

Nu kommer Google inte att komma åt den mappen du angett. Tänk dock på att detta innebär att om en artikel på din webbplats använder bilder som ligger i mappen som nu nekas kommer Google inte att kunna se bilderna. Detta betyder att de inte kan indexera dina bilder och heller inte visa dem i förhandsvisningarna.

Robotar i sociala medier

Om du delar innehåll på din webbplats i sociala medier hämtas direkt en förhandstitt av ditt blogginlägg eller den sida du vill dela, och en förutsättning för att det ska fungera är att du tillåter robotar till din webbplats.

Skulle du dela något på Twitter eller Facebook samtidigt som du nekar alla robotar åtkomst till sidan kommer de inte att kunna visa varken text eller bild i inlägget du delar.

Därför är det oerhört viktigt att förstå att en felaktigt uppsatt robots.txt kan leda till att dina besökare inte kan dela eller se ditt innehåll så som du har önskat.

Lista på robotar

Några exempel på robotar som kan tänkas besöka din webbplats är:

En fullständig lista över robotar som kan tänkas besöka din webbplats hittar du i vår artikel om indexeringsrobotar.

Osäker?

Om du är det minsta osäker på om du har gjort rätt eller inte, se bara till att tillåta alla robotar genom att använda det första exemplet i den här artikeln. Om du fortfarande känner dig osäker är du varmt välkommen att höra av dig till oss via kontaktformuläret, så hjälper vi dig så snart vi kan.