Il s’agit d’un fichier texte placé à la racine d’un site web donnant des instructions relatives aux contenus du site explorés par les robots d’exploration des moteurs.