robots.txt: styr hva søkemotorer har lov til å indeksere

Nettbutikken din får besøk av langt flere enn bare kundene dine. Google, Bing, prissammenligningstjenester, AI-roboter og en lang rekke andre programmer gjennomgår sidene dine automatisk. Filen robots.txt er den lille lappen du henger på døra til dem: her står det hvilke deler av nettbutikken de er velkomne til å se på, og hvilke de skal holde seg unna.

Shoporama oppretter og vedlikeholder robots.txt-filen din automatisk, slik at du ikke trenger å gjøre noe for å komme godt i gang. Hvis du ønsker ekstra kontroll, kan du legge til dine egne linjer. Her får du en fullstendig gjennomgang: hva filen gjør, hva den inneholder som standard, hvordan du redigerer den og hvilke feil du bør unngå.

Hva er robots.txt?

robots.txt er en helt vanlig tekstfil som ligger i roten av domenet ditt. Du kan se din egen ved å skrive /robots.txt etter nettbutikkens adresse i nettleseren, for eksempel https://dinshop.dk/robots.txt. Prøv det mens du leser videre, så blir det enklere å følge eksemplene nedenfor.

Filen inneholder linjer i et veldig enkelt format. En robot leser filen før den begynner å hente sider, og følger instruksjonene den finner. De viktigste ordene i filen er:

• User-agent: hvem reglene gjelder for. En stjerne betyr «alle roboter».
• Disallow: en sti som roboten ikke skal hente.
• Allow: et unntak, altså en sti roboten gjerne kan hente, selv om noe bredere er blokkert.
• Sitemap: en henvisning til sitemapet ditt, som er listen over alle sidene du ønsker skal bli funnet.

Det er viktig å forstå én ting med en gang: robots.txt er en høflig forespørsel, ikke en lås. Filen er offentlig, og alle kan lese den. De store søkemotorene respekterer den, men den hindrer ikke noen i å åpne en side manuelt. Skriv derfor aldri noe i robots.txt som du ikke vil at fremmede skal se, og bruk den aldri til å beskytte sensitivt innhold.

Slik ser robots.txt-filen din ut som standard

Hvis du ikke har endret noe, ser robots.txt-filen din i Shoporama slik ut, bare med ditt eget domene i Sitemap-linjen:

User-agent: *
Sitemap: https://dinshop.dk/sitemap.xml
Disallow: /basket$
Disallow: /address
Disallow: /payment
Disallow: /shipping
Disallow: /approve
Disallow: /thanks
Disallow: /order
Disallow: /download-file
Disallow: /product_review

# Powered by Shoporama

Oversatt til vanlig dansk lyder det: «Kjære alle roboter. Her er listen over sidene mine. Ikke rot rundt i handlekurven, adresseskjemaet, fraktvalget, betalingen, godkjenningssiden, kvitteringssiden, bestillingssidene, filnedlastingen og produktanmeldelsene.»

Det er to gode grunner til at nettopp disse sidene er stengt av. For det første gir de ingen mening i et søkeresultat. Ingen har nytte av å havne direkte i en tom handlekurv fra Google. For det andre bruker roboter en begrenset mengde tid på nettbutikken din, det man kaller «crawl-budsjett». Hver gang en robot henter en side som ikke skal vises i søkeresultatene, er det tid den ikke bruker på produktene og kategoriene dine. Med andre ord: disse linjene bidrar til at de sidene som faktisk selger, blir oppdaget raskere.

Linjen med «Sitemap» peker på sitemapet ditt, som Shoporama genererer automatisk basert på produktene, kategoriene, sidene, landingssidene og blogginnleggene dine. Du trenger ikke å vedlikeholde det selv, og du trenger ikke å legge det til manuelt i robots.txt.

Linjene som Shoporama selv legger inn, kan du ikke slette. Det er med vilje. Det er nemlig nettopp den typen feil som er dyrest å rette opp, og standardreglene passer til stort sett alle nettbutikker.

Slik redigerer du robots.txt

1. Gå til Konto, Nettbutikk, robots.txt i menyen på venstre side av administrasjonssiden.
2. Du kommer til siden Robots.txt med boksen Tilpass robots.txt.
3. Skriv inn de ekstra linjene dine i feltet Ekstra regler. Én regel per linje.
4. Klikk på «Lagre».
5. Åpne https://dinshop.dk/robots.txt i nettleseren og sjekk at resultatet ser ut som forventet.

Endringen trer i kraft umiddelbart. Det er ingen ventetid og ingen cache du må tømme. Nederst på siden i admin finnes en liten hjelpeboks med eksempler på regler du kan legge til.

Merk at feltet heter «Ekstra regler» av en grunn: det du skriver, legges på toppen av Shoporamas egne linjer, ikke i stedet for dem. Linjene dine settes inn rett etter «User-agent: *» og før «Sitemap»-linjen og standardreglene.

Feltet gjelder for én nettbutikk om gangen. Har du flere butikker i samme konto, må du konfigurere det i hver enkelt butikk. Til gjengjeld følger innholdet med hvis en butikk blir kopiert.

Regler som gir mening for en nettbutikk

De fleste nettbutikker trenger aldri å skrive noe som helst i feltet. Standardoppsettet er bra. Men det finnes noen situasjoner der en ekstra linje er en god idé.

Interne sider som ingen skal finne på Google

Har du sider som kun er til internt bruk, en midlertidig testside eller en kampanjeside som kun skal være tilgjengelig via en direkte lenke fra nyhetsbrevet ditt, kan du ekskludere dem:

Disallow: /intern-side/
Disallow: /temp/
Disallow: /nyhetsbrev-kun/

En sti uten avsluttende skråstrek samsvarer med alt som begynner med den. Disallow: /temp utelukker altså både /temp, /temp/test og /temperatur. Vær derfor litt nøye med hvor du setter skråstreken.

Filtrerte og sorterte visninger

Hvis temaet ditt har filtre eller sorteringsfunksjoner som skaper mange varianter av den samme kategorisiden, kan det være lurt å utelate variantene, slik at robotene bruker tiden på selve kategorien. Om dette er relevant, avhenger helt av hvordan temaet ditt er bygget opp, så sjekk først dine egne adresser, eller les mer om filtrering i nettbutikken din.

Et spesifikt unntak

Hvis du vil gi tilgang til noe som ellers ligger under en blokkert sti, kan du bruke Allow. En mer presis regel går foran en mindre presis, uansett hvilken rekkefølge de står i:

Disallow: /intern-side/
Allow: /intern-side/veiledning

Det du IKKE skal blokkere

• Produktene og kategoriene dine. Det er disse du lever av at bli funnet på.
• Bilder, CSS og JavaScript. Google gjengir sidene dine som en ekte nettleser. Hvis du blokkerer designfilene, ser Google en ødelagt side og vurderer den deretter, ikke minst på mobil.
• Sitemapet ditt. Robotene må kunne hente det.

Forskjellen mellom robots.txt og noindex

Dette er det punktet de fleste snubler på, så det er verdt å lese to ganger. De to tingene høres like ut, men gjør noe helt annet:

• robots.txt sier: «du må ikke hente denne siden».
• noindex sier: «Du kan gjerne hente siden, men du må ikke vise den i søkeresultatene».

Den viktige konsekvensen: hvis du blokkerer en side i robots.txt, kan ikke Google hente den, og dermed kan Google heller ikke se at det står «noindex» på den. Hvis siden allerede har eksterne lenker, kan Google likevel velge å vise adressen i søkeresultatene, bare uten tittel og beskrivelse. Resultatet blir en tom, stygg linje i Google i stedet for ingenting.

Tommelfingerregel: Hvis du vil fjerne en side fra Google, bruk «noindex» og unngå å blokkere den i robots.txt. Hvis du bare vil spare robotene for å bruke tid på noe som uansett aldri skal vises i søkeresultatene, så bruk robots.txt.

I Shoporama angir du «noindex» ved å krysse av i boksen «Aktiver "noindex, follow"». Dette finnes på produkter, kategorier, sider, landingssider og blogginnlegg. Les den fullstendige gjennomgangen i «Sett noindex på en side, et produkt eller en kategori».

Shoporama setter for øvrig selv «noindex» på de sidene der det er naturlig, blant annet handlekurven, adresse, frakt, betaling, kvitteringssiden og siden med søkeresultater. Alle nyere temaer har dette. Hvis du har et eldre eller spesialutviklet tema, er det lurt å be temautvikleren din om å sjekke at metataggen faktisk er på plass.

De klassiske feilene

• Å skrive «Disallow: /». Den ene skråstreken stenger hele nettbutikken for søkemotorer. Det er den dyreste skrivefeilen i hele bransjen. Hvis trafikken din fra Google forsvinner i løpet av et par uker, er det her du må sjekke først.
• Å blokkere en side for å få den ut av Google. Det fungerer ikke. Bruk «noindex», som beskrevet ovenfor.
• Å skrive en User-agent-linje midt i feltet. Linjene dine blir plassert i gruppen som gjelder for alle roboter. Hvis du starter en ny gruppe midt i feltet, havner Shoporamas standardregler i den nye gruppen i stedet, og da gjelder de plutselig ikke lenger for alle. Trenger du regler for en bestemt robot, må du først kontakte oss på support@shoporama.dk.
• Å bruke robots.txt som sikkerhetstiltak. Filen er offentlig. Hvis du skriver Disallow: /hemmelig-mappe/, har du nettopp fortalt hele verden at mappen finnes.
• Å blokkere designfiler. Uten CSS og JavaScript vurderer Google siden din som ødelagt.
• Å glemme å sjekke etterpå. Åpne alltid /robots.txt i nettleseren etter at du har lagret. Det tar fem sekunder.
• Å tro at det virker umiddelbart i Google. Filen endres umiddelbart, men det kan ta dager eller uker før Google har hentet den på nytt og kommet seg rundt i nettbutikken din.
• Store og små bokstaver. Selve ordene «Disallow» og «Allow» er ikke følsomme for store bokstaver, men stiene er det. /Tilbud og /tilbud er to forskjellige ting.

Demoshops og shoporama.dk-adresser

Hvis nettbutikken din fremdeles er en demobutikk, er stengt eller ligger på en midlertidig adresse under shoporama.dk, leverer Shoporama automatisk en robots.txt-fil som sier:

User-agent: *
Disallow: /

# Powered by Shoporama

Dette er gjort med vilje, og det er til din fordel. En nettbutikk under oppbygging skal ikke vises i Google, og den midlertidige adressen din skal ikke ligge der og konkurrere med det riktige domenet ditt senere. I denne situasjonen har feltet «Ekstra regler» ingen effekt, siden hele filen blir erstattet.

Så snart nettbutikken er live på ditt eget domene, skifter filen automatisk til den normale versjonen med sitemap og standardregler. Hvis du ikke har flyttet til ditt eget domene ennå, kan du lese «Flytt nettbutikken din til ditt eget domene». Hvis du flytter en eksisterende nettbutikk til Shoporama, er «Unngå å miste Google-plasseringer ved flytting » og «Den store guiden til viderekoblinger » de to artiklene du bør lese først.

Til deg som er teknisk anlagt

• Filen genereres ved hvert oppkall og leveres som text/plain med UTF-8. Den blir ikke lagret i cachen av Shoporama, så en endring blir synlig umiddelbart.
• Rekkefølgen i den ferdige filen er: User-agent: *, deretter innholdet ditt fra feltet «Ekstra regler», deretter Sitemap-linjen, og til slutt Shoporamas standardregler.
• Standardregelen «Disallow: /basket$» bruker dollartegnet som «slutter her». Den gjelder altså bare selve handlekurvsiden, ikke adresser som begynner med det samme.
• Google og Bing avgjør konflikter mellom «Allow» og «Disallow» ved å la den mest spesifikke regelen gjelde, ikke etter rekkefølgen i filen. Ved like lange regler vinner «Allow».
• Sitemapet ligger på /sitemap.xml og blir automatisk delt opp i flere filer med et indeks hvis nettbutikken har svært mange adresser.
• Feltet kan også leses og skrives via Shoporamas API sammen med de øvrige nettbutikkinnstillingene, hvis du ønsker å styre det fra dine egne verktøy.

Ofte stilte spørsmål

Jeg har aldri rørt robots.txt-filen min. Er nettbutikken min da feilkonfigurert?

Nei. Shoporama oppretter filen for deg, og standardinnholdet passer for de aller fleste nettbutikker. Feltet «Ekstra regler» er for de tilfellene der du har noe helt spesielt du vil holde utenfor søkemotorene. Er du i tvil, så la det stå tomt.

Hvordan vet jeg om endringen min har trådt i kraft?

Åpne https://dinshop.dk/robots.txt i nettleseren og oppdater siden. Endringen vises umiddelbart, siden filen ikke blir lagret i cachen. Hvis du fremdeles ser den gamle versjonen, skyldes det nettleserens egen cache, så prøv å laste siden på nytt eller bruk et privat vindu.

Google viser fortsatt en side jeg har blokkert. Hva skal jeg gjøre?

Det er den klassiske fellen. En blokkering i robots.txt hindrer Google i å hente siden, ikke i å vise adressen. Fjern blokkeringen i feltet «Ekstra regler», sett i stedet «noindex» på siden, og vent til Google har hentet den på nytt. Da forsvinner den av seg selv.

Kan jeg lage regler som bare gjelder for én bestemt søkemotor?

Det bør du ikke gjøre i dette feltet, for linjene dine blir lagt inn i gruppen som gjelder alle roboter. Hvis du skriver din egen «User-agent»-linje, flyttes Shoporamas standardregler over til den nye gruppen. Har du et konkret behov, kan du skrive til support@shoporama.dk, så finner vi en løsning sammen.

Jeg har flere nettbutikker. Må jeg gjøre det samme i alle sammen?

Ja, feltet gjelder for den enkelte nettbutikk, så du må gå inn i hver butikk for seg. Hvis du oppretter en ny butikk ved å kopiere en eksisterende, følger innholdet i feltet med over i kopien, så da slipper du det.

Kan jeg hindre at ordre- og kvitteringssider havner i Google?

De er allerede ekskludert som standard. Handlekurv, adresse, frakt, betaling og kvitteringssiden har en «Disallow»-linje, og Shoporama setter samtidig «noindex» på dem. Bestillingssidene har en «Disallow»-linje. Du trenger ikke å gjøre noe. Bare husk at robots.txt i seg selv aldri er en beskyttelse av data. Filen er offentlig, og hvem som helst kan lese den.

Kan jeg risikere å ødelegge trafikken min fra Google med dette feltet?

Ja, hvis du skriver «Disallow: /». Da ber du alle søkemotorer om å holde seg unna hele nettbutikken, og i løpet av noen uker vil synligheten din synke. Derfor: sjekk alltid /robots.txt i nettleseren etter at du har lagret, og sørg for at det ikke står en enkelt skråstrek der.

Nettbutikken vår er kun for bedriftskunder og krever innlogging. Skal vi blokkere alt?

Nei, det er sjelden nødvendig. Innhold bak innlogging kan robotene uansett ikke hente, og en blokkering av hele nettbutikken betyr også at forsiden og eventuelle åpne informasjonssider forsvinner fra Google. Hvis du ønsker å fjerne nettbutikken helt fra søkeresultatene, kan du kontakte oss, så vi kan vurdere den riktige løsningen for oppsettet ditt.

Kan jeg fjerne linjene som Shoporama selv legger inn?

Nei, de blir alltid lagt til. De omfatter handlekurv, kasse, bestillingssider, filnedlasting og produktanmeldelser – altså sider som aldri skal vises i et søkeresultat. Har du en helt spesiell grunn til at en av dem skal indekseres, så skriv til support@shoporama.dk.

Må jeg selv legge til sitemapet mitt i feltet?

Nei. Shoporama legger automatisk inn en sitemap-linje som peker til /sitemap.xml på ditt eget domene, og sitemappen holdes oppdatert for deg. Hvis du legger til en linje selv, vil du bare få den samme sitemappen nevnt to ganger.

Hvis du er i tvil om en bestemt regel, eller hvis du vil at vi skal se gjennom robots.txt-filen din, er du hjertelig velkommen til å skrive til support@shoporama.dk.