Wat is Noindex?
Noindex is een directive die zoekmachines instrueert om een specifieke pagina niet op te nemen in hun zoekresultaten. Het wordt geimplementeerd via een meta robots tag of HTTP header.
Noindex uitgelegd
In tegenstelling tot robots.txt (dat crawling blokkeert) voorkomt noindex daadwerkelijk indexering. Een pagina kan nog steeds gecrawld worden, maar zal niet verschijnen in zoekresultaten. Dit geeft meer zekerheid dan robots.txt.
Typische use cases voor noindex zijn: bedankpaginas, interne zoekresultaten, staging omgevingen, gepagineerde content en paginas met dunne of duplicaat content die je niet wilt verwijderen maar ook niet in Google wilt hebben.
Google respecteert de noindex directive alleen als de crawler de pagina mag bezoeken. Als je een pagina zowel in robots.txt blokkeert als noindex geeft, kan Google de noindex niet lezen en kan de pagina toch geindexeerd worden via externe links.
Noindex in de praktijk
Meta tag: <meta name="robots" content="noindex">
HTTP header: X-Robots-Tag: noindex
Combinatie: noindex, nofollow - pagina niet indexeren en links niet volgen
WordPress heeft een 'discourage search engines' optie die noindex toevoegt
Praktische tips voor noindex
Controleer dat belangrijke paginas niet per ongeluk op noindex staan
Gebruik noindex voor staging sites om duplication te voorkomen
Monitor geindexeerde paginas in Google Search Console
Blokkeer noindex paginas niet in robots.txt - anders ziet Google de noindex niet