Fichier robots.txt

Home / Agence Web ventedetout.com / Fichier robots.txt

Qu’est-ce que le fichier robots.txt ?

Le fichier robots.txt est un fichier texte qui sert pour le référencement ( naturel ) des pages web. Ce dernier contient des commandes à destination des robots des moteurs de recherche.

Ainsi vous l’aurez compris le fichier robots.txt permet d’éviter que du contenu sans intérêt ou privé se retrouvent indexer par les moteurs de recherche.

A MODIFER :

Voici des exemples de fichier robots.txt :

  • Exclusion de toutes les pages :

 

User-Agent: *    
Disallow: /
  • Exclusion d’aucune page (= absence de fichier robots.txt, toutes les pages sont visitées) :

 

User-Agent: *    
Disallow:
  • Autorisation d’un seul robot :

 

User-Agent: nomDuRobot    
Disallow :    
User-Agent: *    
Disallow: /
  • Exclusion d’un robot :

 

User-Agent: NomDuRobot    
Disallow: /    
User-Agent: *    
Disallow:
  • Exclusion d’une page :

 

User-Agent: *    
Disallow: /repertoire/chemin/page.html
  • Exclusion de plusieurs page :

 

User-Agent: *    
Disallow: /repertoire/chemin/page.html    
Disallow: /repertoire/chemin/page2.html    
Disallow: /repertoire/chemin/page3.html
  • Exclusion de toutes les pages d’un répertoire et ses sous-dossiers :
User-Agent: *    
Disallow: /repertoire/