Robots.txt er den lille tekstfil, der bestemmer, hvilke dele af din
Robots.txt er den lille tekstfil, der bestemmer, hvilke dele af din WordPress-side søgemaskiner må crawle. Den ligger som standard i roden af dit domæne, og selv om den kun fylder få linjer, kan en forkert regel lukke Google ude fra sider, du faktisk gerne vil have indekseret. Det gør filen til et af de mest undervurderede SEO-værktøjer på en hjemmeside.
Sådan finder og redigerer du filen
WordPress genererer automatisk en virtuel robots.txt, som du kan se ved at gå ind på dit-domæne.dk/robots.txt i browseren. Den fysiske fil findes typisk ikke, medmindre du selv har oprettet den eller bruger et SEO-plugin som Yoast SEO eller Rank Math, der giver dig en indbygget editor under indstillinger for filer. Har du adgang til serveren via FTP eller et filhåndteringsværktøj i dit hostingpanel, kan du også oprette eller redigere filen direkte i rodmappen.
Den letteste vej for de fleste er alligevel gennem et plugin. Der undgår du at rode med serverens filstruktur, og ændringer slår igennem med det samme uden at du risikerer at ødelægge andre filer i roden.
De regler, der faktisk betyder noget
En robots.txt-fil består af nogle få kommandoer, som er værd at kende, før du rører ved noget. User-agent angiver, hvilken søgemaskinebot reglen gælder for, hvor en stjerne betyder alle bots. Disallow blokerer adgang til en given sti, mens Allow åbner specifikt for undtagelser inden for en blokeret mappe. Til sidst peger Sitemap-linjen søgemaskinerne hen på dit sitemap, så de hurtigere finder alt det indhold, du gerne vil have indekseret.
En typisk WordPress-standardfil blokerer adgang til wp-admin, men tillader adgang til admin-ajax.php, fordi den fil bruges af mange temaer og plugins til at hente indhold dynamisk. Det er et godt eksempel på, hvor præcist reglerne skal skrives for ikke at ramme ved siden af.
Ret filen uden at lukke vigtige sider ude
Den mest almindelige fejl er at blokere for meget. Mange ejere vil forhindre bots i at crawle administrative sider eller søgeresultater internt på siden, men kommer til at ramme mapper, hvor billeder, CSS eller JavaScript-filer ligger. Når Google ikke kan hente de filer, kan den heller ikke forstå, hvordan siden ser ud, og det går ud over rangeringen.
En sikker fremgangsmåde er at starte smalt. Bloker kun de mapper, du er helt sikker på ikke skal indekseres, som wp-admin eller midlertidige testmiljøer. Lad resten være åbent, medmindre du har en konkret grund til at lukke det ude. Husk også, at robots.txt ikke er en sikkerhedsforanstaltning. Filen forhindrer ikke adgang, den beder bare pænt lovlydige bots om at holde sig væk, så følsomme data skal beskyttes på anden vis.
Robots.txt er ikke en sikkerhedsforanstaltning. Filen forhindrer ikke adgang, den beder bare pænt lovlydige bots om at holde sig væk, så følsomme data skal beskyttes på anden vis.
Test ændringerne, før du stoler på dem
Google Search Console har et indbygget værktøj, hvor du kan teste din robots.txt og se, om specifikke URL'er er blokerede eller tilgængelige. Indsæt filens indhold, og kør testen mod de sider, du er mest bekymret for, før du gemmer ændringerne live. Det tager to minutter og sparer dig for uger, hvor Google måske ikke crawler dine vigtigste sider.
Efter du har opdateret filen, er det også en god idé at tjekke dækningsrapporten i Search Console i ugerne efter. Der kan du se, om nogen sider pludselig bliver ekskluderet, som ikke skulle være det, og rette til, inden det påvirker trafikken mærkbart.
De fejl, der går igen
Den hyppigste fejl er en Disallow-regel, der er skrevet for bredt, for eksempel Disallow: / som blokerer hele siden ved en fejltagelse. Det sker ofte, når en fil bliver kopieret fra et udviklingsmiljø til den live side uden at blive tilpasset. En anden klassiker er at glemme sitemap-linjen, så søgemaskinerne ikke får den hurtige genvej til alt indholdet.
Nogle blander også robots.txt sammen med meta-robots-tags, som styrer indeksering på sideniveau. De to gør forskellige ting. Robots.txt styrer, om en bot overhovedet må crawle en side, mens et noindex-tag styrer, om en allerede crawlet side må vises i søgeresultaterne. Bruger du dem forkert sammen, kan du ende med sider, der hverken bliver crawlet eller fjernet fra indekset, fordi Google aldrig når frem til noindex-tagget.