Aller au contenu principal
Retour au blog
SEO techniqueActualité de novembre 20264 min

Budget d’exploration : quand faut-il vraiment s’en préoccuper ?

Le guide de Google sur le budget d’exploration vise les grands sites. Capacité, demande, bonnes pratiques et ce qui ne fonctionne pas.

Par Équipe KAYZEN · publié le

Le budget d’exploration (« crawl budget ») revient souvent dans les discussions SEO, parfois à tort. Le guide de Google sur le sujet est destiné aux sites susceptibles de rencontrer des contraintes d’exploration. Il aide à savoir si vous êtes concerné et, si oui, quels leviers actionner.

Qui est concerné

Google donne des ordres de grandeur, qu’il présente comme des estimations approximatives et non des seuils exacts :

  • les sites de plus d’un million de pages uniques dont le contenu change environ chaque semaine ;
  • les sites moyens ou grands, avec plus de 10 000 pages uniques, dont le contenu change chaque jour ;
  • les sites comptant beaucoup d’URL classées « Détectée, actuellement non indexée » dans la Search Console.

Pour les sites plus petits, dont les nouvelles pages sont explorées le jour même, Google indique que le guide n’est pas nécessaire : il suffit de garder le sitemap à jour et de consulter le rapport d’indexation des pages.

Capacité et demande d’exploration

La limite de capacité d’exploration plafonne le temps pendant lequel les robots de Google maintiennent des connexions ouvertes vers votre serveur. Tous les sites partent d’une même valeur par défaut prudente. La limite augmente quand le site reste en bonne santé et qu’il y a de la demande ; elle diminue quand le site ralentit, renvoie des erreurs 5xx ou envoie des signaux de limitation comme le code 429. Les ressources de Google sont elles aussi finies.

La demande d’exploration dépend, pour Googlebot, de la taille du site, de la fréquence des mises à jour, de la qualité des pages et de leur pertinence par rapport aux autres sites. Trois facteurs principaux :

  • l’inventaire perçu : Google cherche à explorer toutes les URL qu’il connaît, et les doublons ou URL inutiles font perdre du temps d’exploration. C’est le facteur que vous maîtrisez le plus ;
  • la popularité : les URL populaires sont explorées plus souvent ;
  • l’obsolescence : Google revisite les pages assez souvent pour détecter les changements.

Le budget d’exploration est l’ensemble des URL que Google peut et veut explorer. Si la demande est faible, Google explore moins, même quand la capacité est disponible.

Les bonnes pratiques de Google

Gérer l’inventaire d’URL :

  • regrouper les contenus dupliqués ;
  • bloquer par robots.txt les URL sans importance, comme les doublons de défilement infini ou les versions triées différemment d’une même page ;
  • renvoyer 404 ou 410 pour les pages définitivement supprimées, et corriger les soft 404 ;
  • tenir les sitemaps à jour avec <lastmod> pour les contenus modifiés ;
  • éviter les longues chaînes de redirections.

Rendre les pages efficaces à charger : améliorer les temps de réponse du serveur et le chargement des ressources, et prendre en charge le cache HTTP avec des réponses 304 (Not Modified).

Ce qui ne fonctionne pas

  • noindex : Google demande quand même la page, puis l’écarte, ce qui consomme du temps d’exploration.
  • robots.txt pour réallouer le budget : bloquer des pages ne déplace pas le budget vers d’autres. Google ne réaffecte le budget libéré que si le site atteint déjà sa limite de capacité. Réservez robots.txt aux URL que vous ne voulez jamais voir explorées.
  • Bloquer au lieu de supprimer : les URL bloquées restent plus longtemps dans la file d’exploration que celles qui renvoient 404 ou 410, et elles sont réexplorées quand le blocage est levé.

Pour augmenter son budget

Google cite deux pistes : ajouter des ressources serveur si l’outil d’inspection d’URL affiche « Hostload exceeded » et que la capacité est le goulot d’étranglement, et améliorer la qualité du contenu pour le produit Google visé. Pour la recherche, le guide évoque la popularité, l’utilité pour l’utilisateur, l’unicité du contenu et la capacité de diffusion. Les migrations de site peuvent aussi augmenter temporairement la demande, comme le montre notre article sur le passage à un CDN.

Checklist

  1. Estimez où vous vous situez par rapport aux ordres de grandeur ci-dessus.
  2. Si vous êtes en dessous, concentrez-vous sur un sitemap à jour et sur le rapport d’indexation des pages.
  3. Si vous êtes concerné, listez vos URL en doublon (tris, filtres, paramètres) et traitez-les.
  4. Contrôlez les codes de réponse : 404 ou 410 pour le supprimé, pas de soft 404.
  5. Mesurez les temps de réponse du serveur avant d’envisager plus de ressources.

Pour vérifier ces points sur votre site, lancez un audit gratuit.

Sources

Article rédigé avec l'aide d'une IA à partir des sources officielles citées, puis relu par l'équipe KAYZEN. En savoir plus sur notre usage de l'IA.

Vérifier ces points sur votre site

L'audit SEO gratuit de Nexus analyse une page et liste les corrections prioritaires.

Lancer un audit gratuit