X-robots tag : Définition

Le X-Robots Tag est un champ de l’en-tête de réponse http. Elle permet aux sites d’indiquer aux moteurs de recherche et aux autres robots d’exploration s’ils sont autorisés ou non à accéder au contenu de l’URL.

Le X-Robots tag est très similaire à la balise meta robots ou au fichier robots.txt. La différence est que cette information se trouve dans l’en-tête de réponse HTTP au lieu de la source de page ou du fichier robots.txt à la racine du domaine.

Une balise typique X-Robots-Tag: noindex

Semblable à la balise Meta robots, la balise x-robots peut contenir plusieurs valeurs, séparées par des virgules. La ligne de code se rajoute au sein du fichier .htaccess.

Voici les valeurs les plus importantes:

  • All: La valeur par défaut. Aucune restriction pour les robots.
  • Noindex: exclut cette URL de l’indexation
  • Nofollow: Ne pas suivre les liens sur cette page
  • None: Ne rien faire avec cette page (identique à “noindex, nofollow”)

La balise x-robots est relativement nouvelle et n’est pas aussi largement utilisée ou acceptée que le robots.txt ou la balise Meta robots. Google, Bing et Yahoo le prennent en charge, mais pas les autres moteurs de recherche.

Directives X-Robots-Tag

Il existe deux types de directives: les directives sur les robots d’exploration et les directives d’indexation.

Directives de Crawler

Le fichier robots.txt contient uniquement les «directives de robot», qui indiquent aux moteurs de recherche où ils sont autorisés ou non.

  • Allow – vous pouvez spécifier où les moteurs de recherche sont autorisés à explorer.
  • Disallow – fait exactement le contraire
  • Sitemap – directive pour aider les moteurs de recherche à explorer et à explorer votre site Web encore plus rapidement.
  • User agent – directive en combinaison avec les autres directives.

Ces directives empêchent le crawl et non l’indexation.

Directives d’indexation

Les directives d’indexation sont des directives définies par page et / ou par élément. Jusqu’en juillet 2007, il y avait deux directives: le microformat rel = “nofollow”, et la balise Meta Robots.

Avec la balise meta Robots, vous pouvez vraiment empêcher les moteurs de recherche d’afficher les pages que vous souhaitez conserver hors des résultats de la recherche. Le même résultat peut être obtenu avec l’en-tête HTTP X-Robots-Tag.

Comme décrit précédemment, le X-Robots-Tag vous donne plus de flexibilité en vous permettant également de contrôler la manière dont les fichiers (types) spécifiques sont indexés.

Le X-Robots-Tag peut être utilisé comme élément de la réponse d’en-tête HTTP pour une URL donnée de la page Web. Si vous ne souhaitez pas utiliser la balise meta robots, le fichier robots.txt, ou si vous devez bloquer le contenu non HTML, utilisez X-Robots-Tag.

Avantages de l’utilisation du X robots tag

Vous pouvez l’utiliser lorsque l’utilisation des balises meta robots n’est pas possible, par exemple: les fichiers non-HTML tels que les Images, Vidéo, documents Word, PDF ou même Flash peuvent être bloqués.

Le fichier robots.txt est facilement consultable, même si vous désindexez un pdf grâce à lui, des gens peuvent le retrouver. Ce qui n’est pas possible avec le X-robots tag.

Une photo de Louis Maitreau

Bonjour, Je suis Louis Maîtreau, Consultant SEO.

J’accompagne celles et ceux qui souhaitent améliorer leur référencement naturel pour arriver dans les premières pages de résultats sur Google.

Le but ? Augmenter le trafic sur le site et  par conséquent augmenter le chiffre d’affaires.

Pour cela, je vous propose un accompagnement personnel via des prestations de consulting ou alors je vous propose de vous former directement sur mon site à l’aide des formations en ligne avec un espace privé ainsi que des guides sur le référencement naturel mis en ligne sur le site.

Bon courage dans cette course au référencement.

Abonnez-vous !

Cliquez sur le bouton pour vous abonner à ma chaîne YouTube et recevoir mes derniers conseils :

Icone Youtube pour s'abonner à la chaine

Share This