Optimisation du Crawl

Voir tout le glossaire

L'optimisation du crawl désigne l'ensemble des techniques qui visent à faciliter et accélérer le processus d'indexation d'un site par les moteurs de recherche. Chaque jour, les robots d'indexation (aussi appelés spiders ou bots) parcourent des milliers de pages web pour en analyser le contenu et les sauvegarder dans l'index du moteur de recherche. Ce processus est appelé " crawl ", terme anglais qui signifie littéralement " exploration ". Bien que le crawl soit réalisé de manière aléatoire, il existe plusieurs méthodes permettant aux éditeurs de sites de maîtriser l'exploration de nouvelles pages. L'optimisation du crawl consiste à accompagner et guider les robots d'indexation, de manière à leur indiquer quelle est la structure d'un site et quelles sont les modifications qu'ils doivent prendre en compte. Parmi les méthodes utilisées, l'on peut citer :

  • La soumission de sitemap (plan du site) : l'ensemble des URL qui composent un site sont énumérées au sein d'un fichier XML, qui est ensuite transmis aux robots d'indexation par le biais d'un outil de soumission (Serach Console pour le moteur de recherche Google, par exemple).
  • La suppression des erreurs d'exploration : lorsqu'un robot d'indexation rencontre une page 404, c'est-à-dire une page qui a été supprimée mais dont l'URL est encore indexée, une erreur d'exploration est générée. La mise en place de redirections permanentes (redirections 301) permet d'éviter ou limiter les erreurs d'exploration.
  • L'optimisation de la vitesse d'affichage du site : plus une page est lourde et s'affiche lentement, plus les robots d'indexation doivent fournir d'efforts pour en explorer le contenu. Il est donc essentiel d'accroître la vitesse de chargement des pages.

Shakez votre vocabulaire !