Vad är robots.txt och varför behöver du det?
Robots.txt är en liten textfil som berättar för sökmotorer vad de får och inte får indexera på din webb. Tänk på det som en vägkarta för Googles crawlers – den säger åt dem att hålla sig undan känsliga områden och fokusera på det viktiga.
Jag ser ofta kunder som antingen saknar robots.txt helt eller har en som blockerar viktigt innehåll av misstag. Båda problemen kan påverka hur din webb syns i sökresultat.
Så kontrollerar du din nuvarande robots.txt
Gå till din domän följt av /robots.txt (exempelvis mittforetag.se/robots.txt). Antingen får du upp en fil med instruktioner, eller så ser du ett 404-fel som betyder att filen saknas.
En grundläggande WordPress robots.txt ser ut så här:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://dinwebb.se/sitemap.xml
Vad du bör blockera från indexering
Vissa delar av din WordPress-webb ska aldrig synas i sökresultat:
- /wp-admin/ – administrationsområdet
- /wp-includes/ – WordPress kärnfiler
- /wp-content/plugins/ – pluginfiler
- /wp-content/themes/ – temafiler (utom aktiva temat)
- /?s= – sökresultatsidor
- /feed/ – RSS-flöden (valfritt)
En mer komplett robots.txt för WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /?s=
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://dinwebb.se/sitemap.xml
Vanliga misstag att undvika
Blockera inte bilder och CSS. Google behöver komma åt dessa för att förstå hur din sida ser ut. Jag har sett kunder blockera hela /wp-content/ vilket gör att Google inte kan läsa stilmallar eller bilder.
Var försiktig med wildcards. Att skriva Disallow: /wp- blockerar allt som börjar med wp-, inklusive viktiga sidor som wp-content/uploads/ där dina bilder ligger.
Testa dina ändringar. Använd Google Search Console för att testa din robots.txt innan du publicerar den.
Så skapar du robots.txt i WordPress
Metod 1: Via FTP eller filhanteraren
Skapa en textfil som heter robots.txt och ladda upp den till din webbs rotkatalog (samma mapp som wp-config.php ligger i).
Metod 2: Via plugin
Plugins som Yoast SEO eller RankMath låter dig redigera robots.txt direkt från WordPress-adminpanelen. Praktiskt om du inte är bekväm med FTP.
Metod 3: Via functions.php
Om du vill ha programmatisk kontroll kan du generera robots.txt via WordPress kod, men det kräver lite teknisk kunskap.
Sitemap-referenser i robots.txt
Glöm inte att ange var din sitemap ligger. De flesta SEO-plugins genererar automatiskt en sitemap åt dig:
Sitemap: https://dinwebb.se/sitemap.xml
Sitemap: https://dinwebb.se/sitemap_index.xml
Google använder denna information för att hitta och indexera ditt innehåll mer effektivt.
När robots.txt inte räcker
Robots.txt är inte ett säkerhetssystem. Den säger bara "snälla indexera inte det här", men hindrar inte någon från att komma åt filerna direkt. För verklig säkerhet behöver du WordPress-säkerhet på djupare nivå.
Om du vill vara säker på att känsligt innehåll inte indexeras, använd meta-taggar som noindex istället för att bara förlita dig på robots.txt.
Testa och övervaka
Efter att du skapat eller uppdaterat robots.txt, kolla att allt fungerar i Google Search Console under "robots.txt-testaren". Den visar direkt om dina regler blockerar något oväntat.
Ge det några veckor innan du ser effekterna. Sökmotorer besöker inte robots.txt dagligen, så förändringar tar tid att få genomslag.
Vill du ha hjälp med tekniska detaljer som robots.txt och SEO-optimering? Vårt WordPress supportavtal täcker sånt här så du slipper grubbla över konfigurationsfiler.
