XML-sitemap
Se hvordan et sitemap hjælper søgemaskiner med at opdage de sider, I gerne vil have indekseret.
robots.txt
Robots.txtRobots.txt er en simpel tekstfil, der fortæller søgemaskiners crawlere, hvilke dele af jeres hjemmeside de må besøge, og hvilke de skal lade være med at crawle.
Indholdet er gennemgået og kvalitetssikret af Kim Like. Kim
Hvordan har vi verificeret denne side?Vi tager ansvar for det indhold, vi udgiver. Ekspert verificeret betyder, at:Vores ekspert inden for emnet har sikret, at indholdet og rådgivningen er korrekt.Vi har gennemgået og kvalitetssikret de tal og kilder, der ligger til grund.
Ofte stillede spørgsmål om robots.txt
Hvad er robots.txt helt konkret?
Robots.txt er en tekstfil, der ligger i roden af en hjemmeside, og som fortæller søgemaskiners crawlere, hvilke dele af sitet de må besøge, og hvilke de ikke må. Den fungerer som en trafikanvisning for crawlere snarere end en sikkerhedsmekanisme. Filen er offentligt tilgængelig og kan ses af alle, der besøger dens webadresse direkte.
Skal vi selv redigere robots.txt-filen?
Nej, det er sjældent nødvendigt. Platformen sætter en fornuftig standardkonfiguration op automatisk, når hjemmesiden oprettes, så administrative områder holdes ude fra crawl, mens jeres egentlige indhold er frit tilgængeligt for søgemaskinerne. Manuel redigering er kun relevant i særlige tilfælde, for eksempel ved midlertidige kampagnesider.
Kan robots.txt forhindre at en side vises i Google?
Nej, ikke garanteret. En blokering i robots.txt forhindrer crawl af siden, men hvis andre sider linker til den, kan Google stadig indeksere URL'en uden at have set selve indholdet. Skal en side aldrig vises i søgeresultaterne, er det rette værktøj en noindex-instruktion direkte på siden.
Hvad er forskellen på robots.txt og XML-sitemap?
Robots.txt styrer adgang, altså hvilke dele af sitet søgemaskiners crawlere må besøge. En XML-sitemap gør noget andet: den hjælper søgemaskiner med at opdage og finde de sider, I gerne vil have indekseret. De to filer løser derfor forskellige opgaver og supplerer hinanden snarere end at erstatte hinanden.
Kom videre med jeres tekniske SEO
Robots.txt er kun én brik i det tekniske fundament, der får en hjemmeside til at klare sig godt i søgeresultaterne.
seo optimering
Gå i dybden med, hvordan teknik, indhold og struktur spiller sammen om jeres synlighed.
Denne side er gennemgået og godkendt af Kim Like
Kim Like er AI- og udviklingskonsulent med mere end 10 års erfaring inden for web, software og automatisering for danske virksomheder. Han er stifter og produktejer af Lavprishjemmeside, der er vokset ud af behovet i hans kundeprojekter: traditionel webudvikling er blevet overhalet af AI, og virksomheder har brug for et komplet, AI-drevet system til både frontend og backend. Lavprishjemmeside gør den løsning tilgængelig til en fast, lav månedspris for både små og store virksomheder.
Ekspertiser
- Webudvikling
- AI-drevet webdesign
- SEO
- CMS
Teknisk SEO
Hvad er robots.txt?
Filen ligger altid i sitets rodmappe (for eksempel jeresside.dk/robots.txt) og er det første, en søgemaskines crawler kigger efter, når den besøger sitet. Den indeholder korte instruktioner, der fortæller crawlere som Googlebot, hvilke mapper eller sider de har adgang til, og hvilke der er lukket for besøg. Det er en frivillig standard, som de fleste seriøse søgemaskiner respekterer, men den er ikke en sikkerhedsforanstaltning, den er en trafikstyrende anvisning.
Når en søgemaskines crawler ankommer til jeres hjemmeside, læser den robots.txt, før den begynder at besøge andre sider. Filen består af enkle regler, der typisk angiver, hvilken crawler reglen gælder for, og hvilke mapper eller filstier der er tilladt eller forbudt at besøge. En almindelig anvendelse er at lukke administrative områder, interne søgeresultater eller midlertidige testsider ude fra crawl, så søgemaskinens ressourcer bruges på det indhold, der faktisk skal findes af besøgende.
Robots.txt styrer crawl-adgang, altså om en søgemaskine overhovedet besøger en given side eller mappe. Filen styrer derimod ikke, om en side vises i søgeresultaterne. En side kan være blokeret fra crawl i robots.txt og alligevel dukke op i Google, hvis andre sider linker til den, fordi søgemaskinen kan indeksere URL'en uden at have set selve indholdet. Skal en side aldrig vises i søgeresultaterne, er det rette værktøj en noindex-instruktion direkte på siden, ikke en robots.txt-blokering.
Robots.txt og en XML-sitemap løser hver deres del af opgaven. Robots.txt fortæller, hvad crawleren ikke skal bruge tid på, mens sitemappet gør det nemmere for søgemaskinen at finde de sider, I gerne vil have indekseret. Ingen af filerne garanterer indeksering.
Den mest udbredte misforståelse er, at en blokering i robots.txt garanterer, at en side aldrig vises i Google - det er ikke tilfældet, hvis siden er linket til fra andre steder. En anden misforståelse er, at filen fungerer som en sikkerhedsmekanisme. Den er offentligt tilgængelig for alle og kan derfor ikke skjule følsomt indhold, som i stedet skal beskyttes med login eller anden adgangsstyring.
Vi sætter en fornuftig standardkonfiguration af robots.txt op automatisk, når jeres hjemmeside oprettes hos os. Administrative områder og teknisk irrelevante stier holdes ude fra crawl, mens jeres indhold gøres frit tilgængeligt for søgemaskinerne, uden at I skal redigere en eneste linje kode. Der er sjældent behov for manuel indblanding, men skulle der opstå et særligt behov, kan vi justere konfigurationen for jer.