Aller au contenu principal
Retour au blog
SEO techniqueActualité de mars 20264 min

Vérifier qu'une visite vient vraiment de Googlebot

Le user agent ne prouve rien : n'importe qui peut se faire passer pour Googlebot. Deux méthodes officielles : DNS inverse puis direct, ou plages IP.

Par Équipe KAYZEN · publié le

Dans vos journaux serveur, une requête qui se présente comme « Googlebot » n'est pas forcément un robot de Google : le nom affiché dans le user agent est une simple déclaration. La documentation de Google propose deux façons de confirmer l'origine d'une requête. Voici comment les appliquer, avec les exemples de la documentation.

Pourquoi vérifier

Vous pouvez avoir besoin de savoir si un trafic est légitime : avant d'autoriser une adresse dans un pare-feu, de bloquer un robot suspect ou de comprendre des pics d'exploration. La documentation de Google fournit des procédures précises pour cela, sans se fier au seul user agent.

Méthode 1 : vérification manuelle par DNS inverse

Elle convient aux contrôles ponctuels. Elle comporte quatre étapes :

  1. effectuer une recherche DNS inverse (commande host) sur l'adresse IP relevée dans vos journaux ;
  2. vérifier que le nom de domaine obtenu se termine par googlebot.com, google.com ou googleusercontent.com ;
  3. effectuer une recherche DNS directe (host) sur ce nom de domaine ;
  4. confirmer que le résultat correspond bien à l'adresse IP d'origine.

Exemples donnés par la documentation :

  • host 66.249.66.1 renvoie crawl-66-249-66-1.googlebot.com, puis la recherche directe renvoie 66.249.66.1 ;
  • host 35.247.243.240 renvoie geo-crawl-35-247-243-240.geo.googlebot.com ;
  • host 66.249.90.77 renvoie rate-limited-proxy-66-249-90-77.google.com.

La double vérification (inverse puis directe) est essentielle : le simple résultat de la recherche inverse ne suffit pas, il faut que la recherche directe renvoie la même adresse.

Méthode 2 : correspondance avec les plages IP publiées

Pour de gros volumes, Google publie des fichiers JSON de plages d'adresses (notation CIDR) : il suffit de comparer l'IP de la requête à ces listes. Les fichiers sont répartis par catégorie : robots courants (dont Googlebot, common-crawlers.json), robots à usage spécifique (comme AdsBot), outils déclenchés par un utilisateur, et une liste générale.

Selon un billet de mars 2026, ces fichiers sont désormais publiés sous developers.google.com/crawling/ipranges/, l'ancien chemin /search/ fonctionnant encore pour le moment avant d'être redirigé. Détails dans notre article sur les plages IP des robots Google.

Les noms d'hôte attendus par catégorie

D'après la documentation, le nom d'hôte obtenu par DNS inverse suit un motif selon la catégorie :

  • robots courants : crawl-*-*-*-*.googlebot.com ou geo-crawl-*-*-*-*.geo.googlebot.com ;
  • robots à usage spécifique : rate-limited-proxy-*-*-*-*.google.com ;
  • outils déclenchés par un utilisateur : *-*-*-*.gae.googleusercontent.com ou google-proxy-*-*-*-*.google.com.

Pièges à connaître

  • Les outils déclenchés par un utilisateur ignorent robots.txt, puisqu'un utilisateur a demandé la récupération. Les robots courants, eux, le respectent pour leurs explorations automatiques.
  • Un nom googleusercontent.com ne prouve pas à lui seul qu'il s'agit d'un robot d'exploration standard : la documentation précise que des récupérations déclenchées depuis des sites hébergés sur Google Cloud peuvent venir d'hôtes gae.googleusercontent.com.
  • Utilisez la bonne liste. La liste générale d'adresses Google couvre des adresses qui ne sont pas des robots d'exploration, comme le trafic Apps Script.

Checklist pratique

Quand cette vérification est utile

Cette vérification sert surtout aux équipes qui analysent leurs journaux ou gèrent un pare-feu. Un propriétaire de site qui ne consulte pas ses journaux n'a pas besoin de la mener au quotidien. Elle prend tout son sens si vous remarquez un volume de requêtes inhabituel se réclamant de Googlebot, ou si vous voulez autoriser uniquement les vrais robots de Google sur une zone protégée. Dans ces cas, appuyez-vous sur la documentation officielle plutôt que sur des listes d'adresses trouvées sur des forums, qui peuvent être obsolètes.

Exemple de démarche complète

Vous repérez dans vos journaux l'adresse 66.249.66.1 associée au user agent Googlebot. La recherche inverse renvoie crawl-66-249-66-1.googlebot.com : le domaine se termine par googlebot.com, première condition remplie. La recherche directe sur ce nom renvoie 66.249.66.1, la même adresse : le contrôle est concluant. Si l'une des deux étapes échoue, l'adresse n'est pas confirmée par cette méthode et vous ne devriez pas la traiter comme un robot Google.

  1. Extrayez de vos journaux les adresses IP qui prétendent être Googlebot.
  2. Pour un cas isolé, appliquez la vérification par DNS inverse puis directe.
  3. Pour un grand volume, automatisez la comparaison avec les fichiers de plages IP officiels, depuis leur nouvel emplacement.
  4. Ne bloquez pas une adresse sur la seule base de son user agent, ni ne l'autorisez sur cette seule base.
  5. Notez la catégorie du robot identifié, car les règles (dont robots.txt) diffèrent selon la catégorie.

Pour vérifier ces points sur votre site, lancez un audit gratuit.

Sources

Article rédigé avec l'aide d'une IA à partir des sources officielles citées, puis relu par l'équipe KAYZEN. En savoir plus sur notre usage de l'IA.

Vérifier ces points sur votre site

L'audit SEO gratuit de Nexus analyse une page et liste les corrections prioritaires.

Lancer un audit gratuit