Entre jetons de contrôle, robots d’exploration et agents déclenchés par un utilisateur, il est facile de se tromper en écrivant son robots.txt pour les IA. Cet article reprend ce que disent les documentations officielles de Google, d’OpenAI et de Bing, sans extrapoler au-delà, afin de savoir quel nom correspond à quel usage.
Google : Googlebot, Google-Extended et les autres
La documentation de Google sur ses robots courants précise que tous obéissent aux règles de robots.txt. Chaque groupe de règles correspond à un jeton d’agent utilisateur.
- Googlebot construit les index de Google Search ; il touche aussi Google Images, Video, Google News et Discover.
- GoogleOther est un robot générique que diverses équipes produit utilisent pour récupérer du contenu public, par exemple pour des explorations de recherche ponctuelles. Il ne gouverne aucun produit précis. Il existe des variantes GoogleOther-Image et GoogleOther-Video.
- Google-CloudVertexBot réalise des explorations demandées par des propriétaires de sites pour construire des agents Vertex AI.
- Google-Extended est un jeton de contrôle autonome. Il n’a pas de user-agent HTTP propre : Google explore avec ses agents habituels, et le jeton indique seulement comment le contenu peut être utilisé.
Google-Extended permet de gérer l’usage du contenu pour l’entraînement des futurs modèles Gemini et pour le grounding (apport de contenu de l’index de Google Search au modèle au moment de la requête), dans les applications Gemini et dans Grounding with Google Search sur Vertex AI. Il n’affecte pas l’inclusion dans Google Search et n’est pas un signal de classement.
Le 30 octobre 2026, Google a en outre annoncé son intention de prendre en charge un signal partagé d’entraînement IA, qui compléterait Google-Extended. Le détail figure dans notre article dédié.
OpenAI : trois robots, trois usages
D’après la documentation d’OpenAI :
- GPTBot explore du contenu pouvant servir à entraîner les modèles de fondation d’OpenAI. L’interdire signale que le contenu ne doit pas servir à l’entraînement.
- OAI-SearchBot sert à faire apparaître des sites dans les fonctions de recherche de ChatGPT. Un site qui l’interdit n’apparaît pas dans les réponses de recherche de ChatGPT, mais peut encore s’afficher sous forme de liens de navigation. La documentation indique que la prise en compte d’une mise à jour de robots.txt peut prendre environ 24 heures.
- ChatGPT-User gère certaines actions déclenchées par un utilisateur dans ChatGPT et les GPT personnalisés. La documentation précise qu’il n’est pas utilisé pour explorer le web de façon automatique, et que, les actions étant initiées par l’utilisateur, les règles robots.txt peuvent ne pas s’appliquer. Il ne détermine pas l’inclusion dans la recherche : c’est OAI-SearchBot qui sert à gérer cela.
Bing : séparer entraînement et grounding
Dans son billet du 30 octobre 2026, Bing distingue deux préférences. L’entraînement se règle dans robots.txt (agent __usage_ai-training) ou page par page ; le grounding se règle uniquement au niveau de la page, via des balises meta ou l’en-tête X-Robots-Tag adressés à Bingbot. Ces choix n’affectent pas l’éligibilité aux résultats Bing, mais Bing note qu’interdire le grounding réduit sensiblement la visibilité dans les expériences IA. Le calendrier complet est détaillé dans notre article sur les préférences de Bing.
Ce que robots.txt ne règle pas
- Un jeton n’est pas un robot : Google-Extended n’apparaît pas dans vos journaux serveur, puisqu’il n’a pas de user-agent propre.
- Bloquer un robot de recherche (Googlebot, Bingbot, OAI-SearchBot) ne revient pas à refuser l’entraînement : ce sont des usages distincts selon les documentations.
- Les agents déclenchés par un utilisateur, comme ChatGPT-User, peuvent ne pas suivre robots.txt selon OpenAI.
- Les user-agents peuvent être usurpés ; Google recommande de vérifier les requêtes des robots.
Checklist
- Listez les usages que vous voulez autoriser : recherche, réponses IA, entraînement.
- Associez à chacun le bon jeton ou robot d’après la documentation de l’éditeur concerné.
- Écrivez des groupes robots.txt séparés, un par agent, et testez-les.
- Ne bloquez pas Googlebot ou Bingbot par inadvertance en voulant bloquer l’entraînement.
- Revoyez ces règles quand les éditeurs publient de nouveaux jetons.
Un exemple de raisonnement
Supposons que vous souhaitiez rester visible dans la recherche tout en refusant l’entraînement : il faut alors laisser Googlebot, Bingbot et OAI-SearchBot explorer vos pages, puis traiter séparément les jetons ou robots liés à l’entraînement (Google-Extended, GPTBot, préférence d’entraînement de Bing). C’est un exemple de méthode, pas une recommandation : chaque éditeur peut modifier sa documentation.
Pour vérifier ces points sur votre site, lancez un audit gratuit.