Aller au contenu principal
Retour au blog
SEO techniqueActualité de mars 20264 min

robots.txt en pratique : ce qu'il bloque et ce qu'il ne bloque pas

Le fichier robots.txt gère le trafic des robots, il ne cache pas vos pages. Ce que dit Google de ses usages, limites et alternatives comme noindex.

Par Équipe KAYZEN · publié le

Le fichier robots.txt est l'un des plus mal compris du référencement. Beaucoup de personnes l'utilisent pour « cacher » une page de Google, alors que ce n'est pas son rôle. Voici ce que la documentation de Google indique sur ses usages, ses limites et les solutions à privilégier selon l'objectif.

À quoi sert robots.txt

Selon Google, un fichier robots.txt indique aux robots d'exploration quelles URL ils peuvent consulter sur votre site. Son but principal est de gérer le trafic des robots pour éviter de surcharger le serveur. Il peut aussi tenir les robots éloignés de pages sans importance ou quasi identiques.

Pour les fichiers multimédias (images, vidéos, audio), il peut aider à les écarter des résultats Google, sans empêcher d'autres pages ou des utilisateurs de pointer vers eux.

Pour les ressources comme les scripts, les feuilles de style et les images secondaires, Google indique que vous pouvez les bloquer si la page reste correcte sans elles. Il ne faut pas les bloquer si leur absence rend la page plus difficile à comprendre pour le robot.

Ce que robots.txt ne fait pas

La page de Google est explicite : robots.txt n'est pas un mécanisme pour garder une page web hors de Google. Cela vaut aussi pour les PDF et autres fichiers texte. Si une URL bloquée est mentionnée ailleurs sur le web, elle peut quand même apparaître dans les résultats, mais sans description.

La documentation liste plusieurs limites :

  • le respect est volontaire. Les robots sérieux comme Googlebot suivent les règles, d'autres peuvent les ignorer. Ce fichier ne convient donc pas pour protéger des informations privées ;
  • la syntaxe peut être interprétée différemment selon les robots, et certains ne comprennent pas certaines instructions ;
  • une URL interdite peut être indexée si d'autres sites pointent vers elle, ce qui expose l'URL et éventuellement le texte du lien ;
  • les règles peuvent entrer en conflit : combiner des règles d'exploration et d'indexation peut en annuler certaines.

Un point souvent oublié : la page explique que pour retirer des résultats une page bloquée, il faut supprimer l'entrée de robots.txt qui la bloque.

Que faire pour empêcher l'indexation

Google recommande plutôt :

  • une directive noindex, sous forme de balise meta ou d'en-tête de réponse ;
  • la protection des fichiers par mot de passe sur le serveur ;
  • la suppression pure et simple de la page.

Si vous utilisez un CMS comme Wix ou Blogger, vous ne pouvez peut-être pas modifier robots.txt directement : cherchez alors un paramètre de visibilité dans le CMS.

Ce que la documentation ne détaille pas

La page d'introduction consultée ne décrit pas la syntaxe en détail ni l'emplacement exact du fichier : elle renvoie vers la spécification complète des règles. Avant de modifier votre fichier, appuyez-vous donc sur cette spécification et testez vos changements.

Checklist pratique

Exemples de situations

  • Votre serveur est surchargé par l'exploration de pages de filtres ou de recherche interne : c'est le cas d'usage décrit par Google, la gestion du trafic des robots.
  • Une page doit disparaître des résultats : robots.txt ne convient pas, préférez noindex, un mot de passe ou la suppression.
  • Un document contient des données privées : protégez-le par mot de passe, car le respect de robots.txt est volontaire.

Retenez enfin que ce fichier est une consigne adressée aux robots, pas un dispositif de sécurité : traitez-le comme un outil de gestion du trafic d'exploration.

  1. Clarifiez l'objectif. Voulez-vous limiter la charge du serveur, éviter l'exploration de pages inutiles, ou retirer une page des résultats ? Ce ne sont pas les mêmes outils.
  2. Pour retirer une page des résultats, utilisez noindex, un mot de passe ou la suppression, pas robots.txt seul.
  3. Ne bloquez pas ce qui est nécessaire à la compréhension de la page (scripts, styles importants).
  4. Ne comptez pas sur robots.txt pour la confidentialité : des informations sensibles doivent être protégées par mot de passe.
  5. Évitez les règles contradictoires : Google signale que combiner règles d'exploration et d'indexation peut en annuler certaines.
  6. Relisez le fichier après chaque refonte ou migration, pour vérifier que vous ne bloquez pas des sections utiles par erreur.

Pour vérifier ces points sur votre site, lancez un audit gratuit.

Sources

Article rédigé avec l'aide d'une IA à partir des sources officielles citées, puis relu par l'équipe KAYZEN. En savoir plus sur notre usage de l'IA.

Vérifier ces points sur votre site

L'audit SEO gratuit de Nexus analyse une page et liste les corrections prioritaires.

Lancer un audit gratuit