robots.txt: styr vad sökmotorer får indexera

Din webbutik besöks av betydligt fler än bara dina kunder. Google, Bing, prisjämförelsetjänster, AI-robotar och en lång rad andra program genomsöker automatiskt dina sidor. Filen robots.txt är den lilla lappen som du sätter upp på dörren till dem: här står det vilka delar av webbutiken de är välkomna att titta på och vilka de ska undvika.

Shoporama skapar och underhåller din robots.txt automatiskt, så du behöver inte göra någonting för att komma igång på bästa sätt. Om du vill ha extra kontroll kan du lägga till egna rader. Här får du en fullständig genomgång: vad filen gör, vad den innehåller som standard, hur du redigerar den och vilka misstag du bör undvika.

Vad är robots.txt?

robots.txt är en helt vanlig textfil som ligger i rotkatalogen för din domän. Du kan se din egen genom att skriva /robots.txt efter din webbutiks adress i webbläsaren, till exempel https://dinshop.dk/robots.txt. Prova det medan du läser, så blir det lättare att följa exemplen nedan.

Filen innehåller rader i ett mycket enkelt format. En robot läser filen innan den börjar hämta sidor och följer de instruktioner den hittar. De viktigaste orden i filen är:

• User-agent: vem reglerna gäller för. En asterisk betyder ”alla robotar”.
• Disallow: en sökväg som roboten inte ska hämta.
• Allow: ett undantag, det vill säga en sökväg som roboten gärna får hämta, även om något mer omfattande är blockerat.
• Sitemap: en hänvisning till din sitemap, som är listan över alla sidor du vill ska hittas.

Det är viktigt att förstå en sak direkt: robots.txt är en artig begäran, inte ett lås. Filen är offentlig och alla kan läsa den. De stora sökmotorerna respekterar den, men den hindrar inte någon från att öppna en sida manuellt. Skriv därför aldrig något i robots.txt som du inte vill att främlingar ska se, och använd den aldrig för att skydda känsligt innehåll.

Så här ser din robots.txt ut som standard

Om du inte har ändrat något ser din robots.txt i Shoporama ut så här, bara med din egen domän i Sitemap-raden:

User-agent: *
Sitemap: https://dinshop.dk/sitemap.xml
Disallow: /basket$
Disallow: /address
Disallow: /payment
Disallow: /shipping
Disallow: /approve
Disallow: /thanks
Disallow: /order
Disallow: /download-file
Disallow: /product_review

# Powered by Shoporama

Översatt till vanlig danska lyder det: ”Kära alla robotar. Här är listan över mina sidor. Låt bli att rota runt i varukorgen, adressformuläret, fraktvalet, betalningen, godkännandesidan, kvittosidan, ordersidorna, filnedladdningen och produktrecensionerna.”

Det finns två goda skäl till att just dessa sidor är avstängda. För det första ger de ingen mening i ett sökresultat. Ingen har någon nytta av att hamna direkt i en tom varukorg från Google. För det andra tillbringar robotar en begränsad tid på din webbutik, det som kallas crawlbudget. Varje gång en sökrobot hämtar en sida som inte ska visas i sökresultaten är det tid som den inte ägnar åt dina produkter och kategorier. Med andra ord: dessa inställningar hjälper till att få dina faktiska försäljningssidor upptäckta snabbare.

Raden med Sitemap pekar på din sitemap, som Shoporama genererar automatiskt utifrån dina produkter, kategorier, sidor, landningssidor och blogginlägg. Du behöver inte underhålla den själv och du behöver inte lägga till den manuellt i robots.txt.

De rader som Shoporama själv lägger in kan du inte ta bort. Det är avsiktligt. Det är nämligen precis den typen av fel som är dyraste att rätta till, och standardreglerna passar i stort sett alla webbutiker.

Så här redigerar du din robots.txt

1. Gå till Konto, Webbshop, robots.txt i menyn till vänster i adminpanelen.
2. Du kommer till sidan Robots.txt med rutan Anpassa robots.txt.
3. Skriv dina extra rader i fältet Extra regler. En regel per rad.
4. Klicka på Spara.
5. Öppna https://dinshop.dk/robots.txt i webbläsaren och kontrollera att resultatet ser ut som du förväntar dig.

Ändringen träder i kraft omedelbart. Det finns ingen väntetid och ingen cache som du behöver rensa. Längst ner på sidan i admin finns en liten hjälpruta med exempel på regler som du kan lägga till.

Observera att fältet heter ”Extra regler” av en anledning: det du skriver läggs ovanpå Shoporamas egna rader, inte i stället för dem. Dina rader infogas direkt efter User-agent: * och före Sitemap-raden och standardreglerna.

Fältet gäller för en webbutik i taget. Om du har flera butiker i samma konto måste du ställa in det i varje enskild butik. Däremot följer innehållet med om en butik kopieras.

Regler som är meningsfulla för en webbutik

De flesta webbutiker behöver aldrig skriva något alls i fältet. Standardinställningen är bra. Men det finns vissa situationer där en extra rad är en bra idé.

Interna sidor som ingen ska kunna hitta på Google

Om du har sidor som endast är avsedda för internt bruk, en tillfällig testsida eller en kampanjsida som endast får nås via en direktlänk från ditt nyhetsbrev, kan du utesluta dem:

Disallow: /intern-sida/
Disallow: /temp/
Disallow: /endast-nyhetsbrev/

En sökväg utan avslutande snedstreck matchar allt som börjar med den. Disallow: /temp utesluter alltså både /temp, /temp/test och /temperatur. Var därför noga med var du placerar snedstrecket.

Filtrerade och sorterade visningar

Om ditt tema har filter eller sorteringsfunktioner som skapar många varianter av samma kategorisida kan det vara värt att utesluta varianterna, så att sökrobotarna lägger sin tid på själva kategorin. Om detta är relevant beror helt på hur ditt tema är uppbyggt, så titta först på dina egna adresser eller läs mer om filtrering i din webbshop.

Ett specifikt undantag

Om du vill ge åtkomst till något som annars ligger under en blockerad sökväg kan du använda Allow. En mer precis regel har företräde framför en mindre precis, oavsett i vilken ordning de står:

Disallow: /intern-sida/
Allow: /intern-sida/guide

Det du INTE ska blockera

• Dina produkter och kategorier. Det är dem du lever av att bli hittad på.
• Bilder, CSS och JavaScript. Google återger dina sidor som en riktig webbläsare. Om du blockerar designfilerna ser Google en förstörd sida och bedömer den därefter, inte minst på mobilen.
• Din sitemap. Robotarna måste kunna hämta den.

Skillnaden mellan robots.txt och noindex

Det här är den punkt som de flesta snubblar på, så det är värt att läsa två gånger. De två sakerna låter likadant, men gör något helt annat:

• robots.txt säger: ”du får inte hämta den här sidan”.
• noindex säger: ”du får gärna hämta sidan, men du får inte visa den i sökresultaten”.

Den viktiga konsekvensen: om du blockerar en sida i robots.txt kan Google inte hämta den, och därmed kan Google inte heller se att den har noindex. Om sidan redan har länkar från andra webbplatser kan Google ändå välja att visa adressen i sökresultaten, men utan titel och beskrivning. Resultatet blir en tom, ful rad i Google istället för ingenting alls.

Tumregel: om du vill ta bort en sida från Google, använd då ”noindex” och undvik att blockera den i robots.txt. Om du bara vill bespara sökrobotarna tid på något som ändå aldrig ska visas i sökresultaten, använd då robots.txt.

I Shoporama anger du noindex genom att markera kryssrutan Aktivera ”noindex, follow”. Den finns på produkter, kategorier, sidor, landningssidor och blogginlägg. Läs den fullständiga genomgången i Sätt noindex på en sida, produkt eller kategori.

Shoporama lägger för övrigt själv till noindex på de sidor där det är självklart, bland annat varukorgen, adress, frakt, betalning, kvittosidan och sidan med sökresultat. Alla nyare teman visar detta. Om du har ett äldre eller specialanpassat tema är det värt att be din temautvecklare att kontrollera att metataggen faktiskt finns med.

De klassiska misstagen

• Att skriva Disallow: /. Den enda snedstrecket stänger av hela webbutiken för sökmotorer. Det är det dyraste skrivfelet i hela branschen. Om din trafik från Google försvinner under loppet av några veckor är det här du ska titta först.
• Att blockera en sida för att få bort den från Google. Det fungerar inte. Använd noindex, som beskrivs ovan.
• Att skriva en User-agent-rad mitt i fältet. Dina rader placeras i den grupp som gäller alla robotar. Om du startar en ny grupp mitt i fältet hamnar Shoporamas standardregler i den nya gruppen istället, och då gäller de plötsligt inte längre för alla. Om du behöver regler för en specifik robot, kontakta oss först på support@shoporama.dk.
• Att använda robots.txt som säkerhetsåtgärd. Filen är offentlig. Om du skriver Disallow: /hemlig-mapp/ har du just berättat för hela världen att mappen finns.
• Att blockera designfiler. Utan CSS och JavaScript bedömer Google din sida som trasig.
• Att glömma att kontrollera efteråt. Öppna alltid /robots.txt i webbläsaren efter att du har sparat. Det tar fem sekunder.
• Att tro att det fungerar direkt i Google. Filen ändras omedelbart, men det kan ta dagar eller veckor innan Google har hämtat den igen och hunnit genomsöka hela din webbutik.
• Stora och små bokstäver. Orden ”Disallow” och ”Allow” är inte skiftlägeskänsliga, men sökvägarna är det. /Tilbud och /tilbud är två olika saker.

Demobutiker och shoporama.dk-adresser

Om din butik fortfarande är en demobutik, är stängd eller ligger på en tillfällig adress under shoporama.dk, levererar Shoporama automatiskt en robots.txt-fil som säger:

User-agent: *
Disallow: /

# Powered by Shoporama

Detta är avsiktligt och en fördel för dig. En butik under uppbyggnad ska inte indexeras av Google, och din tillfälliga adress ska inte ligga kvar och konkurrera med din riktiga domän senare. I den situationen har fältet Extra regler ingen effekt, eftersom hela filen ersätts.

Så snart webbutiken är live på din egen domän byts filen automatiskt till den normala versionen med sitemap och standardregler. Om du inte har flyttat över till din egen domän än, läs ”Flytta din webbutik till din egen domän”. Om du flyttar en befintlig webbutik till Shoporama är ”Undvik att förlora Google-placeringar vid flytt ” och ”Den stora guiden till omdirigeringar ” de två artiklarna du bör läsa först.

För dig som är tekniskt intresserad

• Filen genereras vid varje anrop och levereras som text/plain med UTF-8. Den cachelagras inte av Shoporama, så en ändring syns omedelbart.
• Ordningen i den färdiga filen är: User-agent: *, därefter ditt innehåll från fältet Extra regler, därefter Sitemap-raden och till sist Shoporamas standardregler.
• Standardregeln Disallow: /basket$ använder dollartecknet som ”slutar här”. Den gäller alltså endast själva varukorgssidan, inte adresser som börjar med samma tecken.
• Google och Bing avgör konflikter mellan ”Allow” och ”Disallow” genom att låta den mest specifika regeln gälla, inte genom ordningen i filen. Om reglerna är lika långa gäller ”Allow”.
• Sitemap-filen finns på /sitemap.xml och delas automatiskt upp i flera filer med ett index om webbutiken har väldigt många adresser.
• Fältet kan också läsas och skrivas via Shoporamas API tillsammans med övriga webbshopinställningar, om du vill styra det från dina egna verktyg.

Vanliga frågor

Jag har aldrig rört min robots.txt. Är min webbutik då felaktigt konfigurerad?

Nej. Shoporama skapar filen åt dig, och standardinnehållet passar de allra flesta webbutiker. Fältet Extra regler är till för de fall där du har något helt speciellt som du vill hålla borta från sökmotorerna. Om du är osäker, låt det stå tomt.

Hur vet jag om min ändring har trätt i kraft?

Öppna https://dinshop.dk/robots.txt i webbläsaren och uppdatera sidan. Ändringen syns omedelbart, eftersom filen inte cachelagras. Om du fortfarande ser den gamla versionen beror det på din webbläsares egen cache, så prova med en hård uppdatering eller ett privat fönster.

Google visar fortfarande en sida som jag har blockerat. Vad ska jag göra?

Det är den klassiska fällan. En blockering i robots.txt hindrar Google från att hämta sidan, inte från att visa adressen. Ta bort blockeringen i fältet Extra regler, sätt istället in noindex på sidan och vänta tills Google har hämtat den igen. Då försvinner den av sig själv.

Kan jag skapa regler som endast gäller för en viss sökmotor?

Det bör du inte göra i det fältet, eftersom dina rader läggs in i den grupp som gäller alla robotar. Om du skriver din egen User-agent-rad flyttas Shoporamas standardregler över till den nya gruppen. Om du har ett specifikt behov, skriv till support@shoporama.dk så hittar vi en lösning tillsammans.

Jag har flera webbutiker. Måste jag göra samma sak i alla?

Ja, fältet hör till den enskilda webbutiken, så du måste gå in i varje butik för sig. Om du skapar en ny butik genom att kopiera en befintlig följer innehållet i fältet med över till kopian, så där slipper du.

Kan jag förhindra att order- och kvittosidor hamnar på Google?

De är redan uteslutna som standard. Varukorgen, adress, frakt, betalning och kvittosidan har en Disallow-rad, och Shoporama sätter samtidigt noindex på dem. Ordersidorna har en Disallow-rad. Du behöver inte göra någonting. Tänk bara på att robots.txt i sig aldrig utgör något dataskydd. Filen är offentlig och vem som helst kan läsa den.

Kan jag råka förstöra min trafik från Google med det här fältet?

Ja, om du skriver Disallow: /. Då ber du alla sökmotorer att hålla sig borta från hela webbutiken, och inom några veckor minskar din synlighet. Därför: kolla alltid /robots.txt i webbläsaren efter att du har sparat, och se till att det inte finns en ensam snedstreck.

Vår webbutik är endast avsedd för företagskunder och kräver inloggning. Ska vi blockera allt?

Nej, det är sällan nödvändigt. Robotarna kan ändå inte hämta innehåll bakom inloggningen, och en blockering av hela webbutiken innebär också att startsidan och eventuella öppna informationssidor försvinner från Google. Om du vill ta bort hela webbutiken från sökresultaten, kontakta oss så att vi kan bedöma vilken lösning som passar bäst för din konfiguration.

Kan jag ta bort de rader som Shoporama själv lägger in?

Nej, de läggs alltid till. De omfattar varukorg, kassa, ordersidor, filnedladdning och produktrecensioner, alltså sidor som aldrig ska visas i ett sökresultat. Om du har ett helt särskilt skäl till att en av dem ska indexeras, skriv till support@shoporama.dk.

Måste jag själv lägga till min sitemap i fältet?

Nej. Shoporama infogar automatiskt en sitemap-rad som pekar på /sitemap.xml på din egen domän, och sitemappen hålls uppdaterad åt dig. Om du själv lägger till en rad kommer samma sitemap bara att nämnas två gånger.

Om du är osäker på en specifik regel eller vill att vi ska granska din robots.txt är du varmt välkommen att skriva till support@shoporama.dk.