Avant de pouvoir classer une page, Google doit la découvrir puis l'explorer avec son robot, Googlebot. Mais ce robot ne dispose pas d'un temps illimité pour chaque site. La quantité de pages qu'il accepte d'explorer sur votre site dans un laps de temps donné, c'est ce qu'on appelle le budget de crawl.
Qui doit se soucier du budget de crawl ?
Soyons clairs : pour un site vitrine de quelques dizaines de pages, ou un blog de quelques centaines d'articles, le budget de crawl n'est presque jamais un problème. Google explore sans difficulté ce volume de pages.
Le sujet devient important pour les sites plus volumineux : boutiques en ligne avec des milliers de produits, sites d'annonces, sites générant de nombreuses pages via des filtres ou des paramètres d'adresse. Dans ces cas, si Google gaspille son temps sur des pages inutiles, vos pages importantes peuvent être explorées trop rarement, et vos nouveautés mettre longtemps à apparaître dans les résultats.
Les deux composantes du budget de crawl
Google combine deux notions. La capacité d'exploration d'abord : combien de requêtes votre serveur peut supporter sans ralentir. Un serveur rapide et stable permet à Google d'explorer davantage. La demande d'exploration ensuite : l'intérêt que Google porte à vos pages, selon leur popularité et la fréquence de leurs mises à jour.
Ce qui gaspille le budget de crawl
Les principaux responsables du gaspillage sont bien identifiés :
- Les paramètres d'adresse générés par les filtres, les tris ou le suivi de campagnes, qui créent des milliers de variantes d'une même page ;
- Les pages en double accessibles par plusieurs adresses, avec ou sans barre finale, en majuscules ou minuscules ;
- Les chaînes de redirections, où une adresse redirige vers une autre qui redirige encore ;
- Les pages en erreur et les liens cassés ;
- Les pages sans valeur : résultats de recherche interne, calendriers infinis, pages d'étiquettes vides ;
- Un serveur lent, qui pousse Google à ralentir son exploration.
Analyser l'exploration de votre site
La Search Console propose un rapport sur les statistiques d'exploration, dans les paramètres. Il indique le nombre de requêtes quotidiennes de Googlebot, le temps de réponse moyen du serveur et la répartition des réponses. Une hausse brutale du temps de réponse ou une forte proportion de pages en erreur doivent vous alerter.
Pour aller plus loin, l'analyse des journaux du serveur montre précisément quelles adresses Googlebot visite, et à quelle fréquence. On distingue alors les pages explorées chaque jour de celles que le robot n'a pas visitées depuis des semaines. C'est souvent révélateur : on découvre parfois que le robot passe l'essentiel de son temps sur des pages de filtres sans intérêt.
Optimiser le budget de crawl
Les leviers sont essentiellement techniques :
- Bloquer l'exploration des zones inutiles dans le fichier robots.txt ;
- Utiliser les balises canoniques pour désigner la version principale des pages similaires ;
- Supprimer les chaînes de redirection en pointant directement vers la destination finale ;
- Corriger les liens cassés du maillage interne ;
- Tenir à jour un sitemap XML ne contenant que les pages importantes et indexables ;
- Améliorer le temps de réponse du serveur.
Mon conseil
Si votre site compte moins de quelques milliers de pages, ne perdez pas de temps sur le budget de crawl : concentrez-vous sur la qualité du contenu et la vitesse du site. Au-delà, un audit des journaux du serveur est un investissement rentable : il révèle presque toujours des zones où Google perd son temps, et les corriger accélère l'indexation de vos pages vraiment importantes.
