Wat is Robots.txt?
Robots.txt is een tekstbestand in de hoofdmap van een website dat instructies geeft aan webcrawlers over welke delen van de site ze wel of niet mogen crawlen.
Robots.txt uitgelegd
Het robots.txt bestand is het eerste wat crawlers bekijken wanneer ze een website bezoeken. Het gebruikt eenvoudige regels om toegang te verlenen of te blokkeren. 'Disallow: /admin/' betekent bijvoorbeeld dat crawlers de admin-map moeten overslaan.
Belangrijk: robots.txt blokkeert alleen crawling, niet indexering. Als andere websites linken naar een pagina die je hebt gedisallowed, kan Google die pagina nog steeds indexeren. Voor echte no-index moet je de meta robots tag of X-Robots-Tag header gebruiken.
Een onjuist geconfigureerd robots.txt kan grote SEO-schade veroorzaken. Het per ongeluk blokkeren van je hele site of belangrijke secties kan leiden tot volledig verdwijnen uit zoekresultaten.
Robots.txt in de praktijk
Disallow: /wp-admin/ - blokkeert WordPress admin
Allow: / - staat alles toe (standaard)
Disallow: /privepagina.html - blokkeert specifieke pagina
User-agent: * - regels gelden voor alle crawlers
Praktische tips voor robots.txt
Blokkeer alleen wat echt niet gecrawld hoeft te worden
Test je robots.txt met de Google Search Console tester
Voeg een link naar je sitemap toe in robots.txt
Wees extra voorzichtig bij het bewerken van een live robots.txt