Wat is eigenlijk een x-robot-tag?

Een Robot Tag is een onderwater geplaatste boodschap aan de robots van de zoekmachines. In deze boodschappen kun je meegeven of een robot een pagina wel of niet mag indexeren en de links op een pagina wel of niet mag volgen.

Er zijn een aantal manieren opgezet om specifieke dingen te vertellen aan Google over de pagina die de robot bezoekt, en wat hij er mee moet doen.

* Geen cache van de pagina en geen snippet van de pagina tonen in de zoekresultaten;
X-Robots-Tag: noarchive, nosnippet
* Deze pagina in zijn geheel niet opnemen inde zoekresultaten;
X-Robots-Tag: noindex
* Een pagina laten verwijderen uit de zoekresultaten op 23 september 2007 om 16.00 uur
X-Robots-Tag: unavailable_after: 23 Sept 2007 16:00:00 CET

Uiteraard zijn alle verschillende combinaties mogelijk!