Les Spiders : Définition

Les spiders sont les robots d’exploration des moteurs de recherche. Il explore fréquemment le Web, recherchant du nouveau contenu et mettant à jour des éléments existants dans les index. On connait particulièrement celui de Google : le Googlebot .

Google indexe actuellement plus de 10 milliards de pages Web. Grâce aux activités de Googlebot spider, ce nombre continue d’augmenter.

Les spiders utilisent le Web en suivant les liens entre les pages Web. Ainsi, si votre site Web est associé à une autre page accessible à Googlebot, il trouvera votre site.

Processus d’exploration du spider

Le spider parcourt le Web en permanence. Cette analyse quotidienne entraîne des mouvements significatifs, généralement temporaires, dans les classements de contenu de Google.

Au cours de ce processus, les nouvelles pages sont examinées et indexées, et les pages déjà répertoriées dans l’index Google sont réexaminées et analysées afin de détecter les mises à jour de contenu. Si le contenu indexé a été mis à jour, Google examinera les nouveaux éléments et modifiera éventuellement le classement de la page.

Lorsque le processus d’analyse est terminé, chaque page indexée aura été évaluée ou réévaluée et son PageRank (classement) et sa liste de liens de retour auront été ajustés. Cela peut ou non entraîner le changement du classement d’une page.

La première fois que les spider trouvent votre site, il peut le visiter tous les quelques jours pour voir si le contenu change. La théorie est que si votre site change souvent, le Googlebot continuera à revenir à de courts intervalles.

Si, lors de visites ultérieures, le spider découvre que le site change rarement alors Google considérera votre contenu “à jour” et programmera le spider pour raccourcir son cycle de visite pour votre site.

Les pages dont le contenu est “obsolète” (c’est-à-dire qui ne sont pas sujettes à de fréquents changements) peuvent être soumises à un cycle de recherche plus long. Cela parce que les spiders ne rechercheront pas de mises à jour fréquentes du contenu.

Explication de sur la nature et l’effet de son exploration Web

Chaque fois que nous mettons à jour notre base de données de pages Web, notre index change invariablement: nous trouvons de nouveaux sites, nous perdons certains sites, et les classements des sites peuvent changer.

Votre rang sera naturellement affecté par les changements dans le classement des autres sites. Vous pouvez être assuré que personne à Google n’a ajusté manuellement les résultats pour stimuler le classement d’un site.

L’ordre des résultats de Google est automatiquement déterminé par plusieurs facteurs, y compris l’algorithme PageRank.

Le Googlebot, en fait, comprend deux types de spider:

  • Le Freshbot, qui gère l’analyse mensuelle comme décrit ci-dessus.
  • Le Deepbot, qui suit le Freshbot en explorant tous les éléments des sites Web indexés.

Il y a également différents Googlebot pour le mobile, le desktop, les images, les vidéos etc.

 

Une photo de Louis Maitreau

Bonjour, Je suis Louis Maîtreau, Consultant SEO.

J’accompagne celles et ceux qui souhaitent améliorer leur référencement naturel pour arriver dans les premières pages de résultats sur Google.

Le but ? Augmenter le trafic sur le site et  par conséquent augmenter le chiffre d’affaires.

Pour cela, je vous propose un accompagnement personnel via des prestations de consulting ou alors je vous propose de vous former directement sur mon site à l’aide des formations en ligne avec un espace privé ainsi que des guides sur le référencement naturel mis en ligne sur le site.

Bon courage dans cette course au référencement.

Abonnez-vous !

Cliquez sur le bouton pour vous abonner à ma chaîne YouTube et recevoir mes derniers conseils :

Icone Youtube pour s'abonner à la chaine

Share This