Robots.txt en sitemap.xml uitgelegd voor niet-techneuten
Robots.txt en sitemap.xml klinken als techneutendingen waar je liever niet over hoeft na te denken. Maar samen vormen ze het visitekaartje dat je aan Google geeft: hier is mijn website, dit zijn alle pagina's, en dit zijn de pagina's die je niet hoeft te bekijken. Verkeerd ingesteld en je site is onzichtbaar voor Google. Goed ingesteld en Google vindt elke pagina precies zoals je dat wilt.
Wat is robots.txt?
Robots.txt is een tekstbestand op het hoogste niveau van je domein (jouwsite.nl/robots.txt) dat zoekmachines vertelt welke pagina's ze wel en niet mogen bezoeken. Het is geen wet (kwaadwillende bots negeren het), maar Google en alle serieuze zoekmachines respecteren het netjes.
Een typisch robots.txt-bestand ziet er zo uit:
- User-agent: * (geldt voor alle bots)
- Allow: / (mag alles bekijken)
- Disallow: /wp-admin/ (behalve het admin-gedeelte)
- Sitemap: https://jouwsite.nl/sitemap.xml (en hier is de sitemap)
De grootste valkuil bij robots.txt
We zien het regelmatig: een bedrijf lanceert een nieuwe website en de developer is vergeten 'Disallow: /' te verwijderen uit de testomgeving. Die ene regel betekent: ' geen enkele pagina mag door Google bezocht worden'. De site is dan letterlijk onzichtbaar voor Google. Check daarom altijd jouwsite.nl/robots.txt na een lancering, en zorg dat er geen 'Disallow: /' in staat tenzij je dat echt wilt.
Wat is sitemap.xml?
Een sitemap is een XML-bestand met een lijst van alle pagina's op je website die je geïndexeerd wilt hebben. Voor elke pagina staat erin: de URL, wanneer hij voor het laatst is bijgewerkt, hoe vaak hij verandert, en hoe belangrijk hij is ten opzichte van andere pagina's.
Zoekmachines gebruiken sitemaps om je hele site efficiënt te ontdekken. Zonder sitemap moet Google je site 'doorbladeren' door interne links te volgen, en dan mist hij vaak pagina's die niet goed gelinkt zijn.
Hoe maak je een sitemap?
Je hoeft hem niet handmatig te schrijven. Bij WordPress maken plugins als Yoast SEO of Rank Math er automatisch een aan en updaten hem elke keer als je een nieuwe pagina publiceert. Bij Shopify zit het ingebouwd. Bij maatwerk-sites laat je de developer er een genereren op /sitemap.xml.
Aanmelden bij Google Search Console
Een sitemap hebben is niet genoeg. Je moet hem ook aanmelden bij Google Search Console zodat Google weet dat hij bestaat. Ga naar search.google.com/search-console, voeg je website toe, en submit de URL van je sitemap onder Sitemaps. Daarna ziet Google binnen een paar dagen al je pagina's.
Check of het werkt
Open jouwsite.nl/robots.txt en jouwsite.nl/sitemap.xml in je browser. Krijg je een 404, dan ontbreken ze. Krijg je een leeg bestand of iets vreemds, dan klopt er iets niet. Onze gratis audit checkt beide automatisch en vertelt je wat er ontbreekt.