Placer son site derrière un CDN réduit généralement la latence pour les visiteurs et protège le serveur d’origine. Un billet de Google daté du 11 novembre 2026 attire l’attention sur un effet de bord : juste après la bascule, le trafic des robots vers le serveur d’origine peut augmenter nettement. Mal géré, ce pic peut conduire à des réglages de sécurité qui empêchent Googlebot d’explorer le site.
Pourquoi l’exploration augmente après une bascule
Google explique que sa limite de capacité d’exploration (le « hostload ») dépend de la santé et de la réactivité du serveur. Des réponses lentes poussent les robots à ralentir ; des réponses rapides et stables permettent à la limite de monter progressivement, s’il existe une demande d’exploration.
Quand le DNS pointe vers un point de présence du CDN rapide, les temps de connexion et de réponse chutent. Les robots interprètent cela comme une amélioration importante de l’infrastructure et augmentent leur cadence de requêtes.
Le problème du cache froid
Un CDN neuf démarre avec un cache vide. La première requête pour une URL sur un point de présence est un « cache miss » : le CDN va chercher la ressource sur l’origine, la stocke, puis la sert. Les requêtes suivantes sont servies depuis le CDN sans solliciter l’origine.
Les visiteurs se concentrent sur un petit nombre de pages populaires, ce qui réchauffe vite le cache. Les robots parcourent au contraire un large éventail d’URL : beaucoup de leurs requêtes sont des « miss » qui atteignent l’origine. Tant que les caches ne sont pas chauds, l’origine supporte donc l’essentiel de la charge, même si certains CDN lissent les pics.
L’erreur à éviter : la protection anti-bots généralisée
Face au pic, un administrateur peut activer une protection anti-bots globale sur le CDN ou le pare-feu applicatif (WAF). Ces règles traitent tout le trafic automatisé de la même façon, y compris les robots de Google. Google rappelle que Googlebot ne sait pas résoudre un CAPTCHA : il reste bloqué sur des pages d’erreur ou de défi, le site paraît restreint ou cassé, les robots réduisent leur activité, et des pages ou fiches produits peuvent sortir de la recherche.
Les trois recommandations de Google
- Autoriser les bots vérifiés si vous bloquez les bots. Utilisez l’option ou la règle gérée de votre CDN pour les robots connus et vérifiés, et vérifiez les robots de Google à partir de ses plages d’adresses IP publiées. Vous pouvez aussi cibler des robots indésirables précis, via robots.txt ou des règles dédiées, plutôt que tous les clients automatisés.
- Préchauffer les caches avant de faire passer tout le trafic par le CDN : récupérer, à un rythme contrôlé, les pages très visitées, celles d’un pic à venir (promotion, lancement saisonnier) et les URL souvent explorées.
- Limiter temporairement si l’origine reste surchargée : des règles de limitation de débit qui renvoient un code HTTP 429 (Too Many Requests) ou 503 (Service Unavailable), pour une courte période, de quelques heures à un ou deux jours au maximum.
La documentation de Google sur les codes HTTP précise que les erreurs 5xx et 429 font ralentir temporairement l’exploration, et que Google remonte ensuite progressivement le rythme quand le serveur renvoie de nouveau des réponses 2xx. Elle déconseille en revanche d’utiliser 401 ou 403 pour limiter la cadence d’exploration. Pour approfondir ce point, voyez notre article sur les codes HTTP.
À retenir
Des réponses plus rapides entraînent une exploration plus soutenue : une faible latence en périphérie signale un site en bonne santé, capable d’absorber davantage de requêtes. Le cache ne protège l’origine qu’à partir de la deuxième visite d’une URL. Si vous devez agir, exemptez les robots vérifiés des défis anti-bots, et réservez les 429 ou 503 temporaires aux cas où l’origine a réellement besoin d’être soulagée.
Checklist avant et après la migration
- Vérifier que les règles anti-bots du CDN ou du WAF laissent passer les robots vérifiés de Google.
- Préparer une liste des URL stratégiques et les charger via le CDN avant la bascule complète.
- Prévoir une règle de limitation 429 ou 503 temporaire, avec une échéance claire pour la retirer.
- Surveiller, après la bascule, les erreurs d’exploration et les statistiques de la Search Console.
- Contrôler que des pages de défi ou des codes 403 ne sont pas renvoyés aux robots.
Le billet ne donne aucun chiffre sur l’ampleur du pic d’exploration, et il ne dit pas combien de temps dure le réchauffement du cache : cela dépend de votre site et de votre CDN.
Pour vérifier ces points sur votre site, lancez un audit gratuit.