Yahoo!, Google et Microsoft ont défini un protocole qui permet de spécifier les parties d'un site que l'on ne souhaite pas faire

Les trois poids lourds de la recherche Web - Yahoo!, Google et Microsoft - sont tombés d'accord sur un standard commun : Robots Exclusion Protocol (REP), protocole utilisé par les moteurs pour sonder les règles d'indexation d'un site.

http://www.01net.com/editorial/382586/un-standard-pour-tenir-les-moteurs-de-recherche-a-l-ecart/