Qu’est-ce que le fichier robots.txt ?
Le fichier robots.txt est un fichier texte qui sert pour le référencement ( naturel ) des pages web. Ce dernier contient des commandes à destination des robots des moteurs de recherche.
Ainsi vous l’aurez compris le fichier robots.txt permet d’éviter que du contenu sans intérêt ou privé se retrouvent indexer par les moteurs de recherche.
A MODIFER :
Voici des exemples de fichier robots.txt :
- Exclusion de toutes les pages :
User-Agent: * Disallow: /
- Exclusion d’aucune page (= absence de fichier robots.txt, toutes les pages sont visitées) :
User-Agent: * Disallow:
- Autorisation d’un seul robot :
User-Agent: nomDuRobot Disallow : User-Agent: * Disallow: /
- Exclusion d’un robot :
User-Agent: NomDuRobot Disallow: / User-Agent: * Disallow:
- Exclusion d’une page :
User-Agent: * Disallow: /repertoire/chemin/page.html
- Exclusion de plusieurs page :
User-Agent: * Disallow: /repertoire/chemin/page.html Disallow: /repertoire/chemin/page2.html Disallow: /repertoire/chemin/page3.html
- Exclusion de toutes les pages d’un répertoire et ses sous-dossiers :
User-Agent: * Disallow: /repertoire/