Hvorfor dette påvirker rangeringen
robots.txt styrer hva roboter får crawle. En feil Disallow kan holde hele butikken utenfor indeksen — uten at du merker det i Search Console med en gang. Google leser signalene på tvers av URL-er, HTML og ytelse — ikke bare teksten i et blogginnlegg.
Vanlige feil på norske nettsider
- Disallow: / på produksjon etter en staging-kopi.
- CSS og JS blokkert, så Google ikke kan rendere siden.
- Sitemap-pekere som mangler eller peker på gammel URL.
Før og etter
Eksemplene er forenklet. Bruk mønsteret, ikke nødvendigvis klassenavnene.
Feil konfigurasjon
Denne fila ber alle roboter om å holde seg unna hele nettstedet.
Feil eksempel
User-agent: *
Disallow: /Riktig konfigurasjon
Blokker bare det som ikke skal crawles. Pek til sitemap. Ikke steng CSS/JS.
Riktig eksempel
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /handlekurv/
Sitemap: https://butikk.no/sitemap.xml