Le Crawl est l’action qui consiste à analyser le contenu d’un site Internet par les moteurs de recherches à l’aide des robots d’indexation ou spider ( GoogleBot par exemple ).

Ces robots font ainsi, de façon régulière, venir explorer le contenu global de votre site web, pour en étudier son contenu et le proposer à l’indexation, c’est-à-dire à la présentation sur leur index.

Le principe du crawling

D’un point de vue SEO, le crawling consiste à explorer du contenu trouvé par l’intermédiaire d’un maillage interne et externe. Le principe est très simple. Les robots de crawl, dont le plus connus est certainement GoogleBot ( de Google ), va crawler ( explorer ) quotidiennement l’intégralité du contenu qu’il a à sa connaissance.
Dès que ce robot de crawl va découvrir une nouvelle page, grâce à un lien point vers elle, GoogleBot va explorer son contenu et éventuellement l’intégrer dans leur index pour la présenter aux Internautes.

Ainsi, pour optimiser au maximum ses chances d’indexation, chaque éditeur de site Internet devra maximiser au maximum son budget crawl. Plus votre site Internet sera facilement crawlé par les spiders d’indexation, plus votre site sera présent sur la SERP.

La différence avec l’indexation Google

Cette erreur est fréquente et mérite que l’on s’y attarde quelques secondes. Le crawling et l’indexation sont deux étapes différentes.
Pour qu’il y’ait indexation, il faut qu’au préalable Google puisse avoir pris connaissance du contenu de cette page web. Cette connaissance est effectuée lors de l’exploration ( ou crawling ).

L’indexation consistera donc à afficher l’url de la page web à chaque internaute saisissant une expression en rapport au contenu de cette même page web.

Comment améliorer le crawl ?

Bien entendu, il n’y a pas de réponse toute faite, chaque site Internet est différent et surtout aucun expert en SEO pour être catégorique sur cette réponse. Toutefois, par expérience, il est possible d’améliorer le crawling d’un site web en :

  • Travaillant sur la structure du site Internet : optimiser le maillage interne pour que faciliter au maximum l’exploration des pages profondes de votre site Internet.
  • Développant ses backlinks : un site internet avec de nombreux backlinks provenant de sites à forte autorité sera plus souvent exploré, car considéré par Google comme lui-même d’autorité.
  • Créant un sitemap XML : ce fichier au format XML sera à intégrer dans votre outil Google Search Console. Si vous utilisez un CMS dans la gestion de votre site web tel que WordPress, vous pourrez avoir un sitemap.xml facilement.
  • Utilisant un serveur parfaitement optimisé : le secteur où il ne faut pas faire d’économie est le choix de la structure d’hébergement. Entre serveur mutualisé à 2€ par mois et un petit VPS dédié, vous ne devriez surtout pas hésitez. Il est très important de choisir un hébergement web de qualité, c’est un investissement largement rentabilisé.