Robots IA et robots.txt : ce que coûte le blocage de GPTBot, ClaudeBot et des autres
GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended : lesquels entraînent des modèles, lesquels décident de votre présence dans les réponses des IA, et comment écrire un robots.txt qui ne bloque que ce que vous voulez bloquer.
« Bloquer les robots IA » ressemble à une seule décision. Il y en a au moins deux : votre contenu peut-il servir à entraîner des modèles, et votre site peut-il apparaître dans les réponses de recherche des IA. La plupart des éditeurs utilisent des robots ou des jetons distincts pour ces usages, et un robots.txt qui les traite comme un seul groupe bloque en général plus que son auteur ne le voulait. Cet article liste ce que chaque éditeur documente, puis les règles du fichier lui-même. Les affirmations des éditeurs renvoient à leurs sources, toutes lues le 11 novembre 2026.
Trois usages, trois types de robots
- Les robots d’entraînement collectent des pages susceptibles de servir à entraîner des modèles. En bloquer un, c’est refuser l’entraînement. OpenAI, Perplexity, Google et Apple documentent chacun ce choix comme distinct de la présence dans leur produit de recherche.
- Les robots de recherche construisent l’index que l’assistant interroge avant de répondre. En bloquer un vous sort des réponses, ou au moins y réduit votre visibilité.
- Les visites à la demande d’un utilisateur chargent une page parce qu’une personne a interrogé l’assistant à son sujet. Ce n’est pas une exploration automatique, et deux des trois éditeurs ci-dessous indiquent que le robots.txt peut ne pas s’y appliquer.
Ce que chaque éditeur documente
OpenAI
GPTBot(entraînement) : le bloquer indique que le contenu ne doit pas servir à l’entraînement.OAI-SearchBot(recherche) : le site n’est pas affiché dans les réponses de recherche de ChatGPT ; il peut encore apparaître comme lien de navigation.ChatGPT-User(visite à la demande) : les règles du robots.txt « may not apply » ; il ne décide pas de l’apparition dans la recherche.
Anthropic
ClaudeBot(entraînement) : le bloquer indique que les futurs contenus du site doivent être exclus des données d’entraînement.Claude-SearchBot(recherche) : le contenu n’est pas indexé pour la recherche, ce qui peut réduire la visibilité dans les résultats.Claude-User(visite à la demande) : Claude ne peut pas récupérer la page pour répondre à la question d’un utilisateur.
Perplexity
PerplexityBot(recherche) : aucun coût n’est indiqué ; Perplexity recommande de l’autoriser pour apparaître dans ses résultats.Perplexity-User(visite à la demande) : il ignore en général les règles du robots.txt, puisqu’un utilisateur a demandé la page.
Google-Extended(contrôle de l’entraînement et de l’ancrage) : le contenu ne sert ni à entraîner les futurs modèles Gemini ni à l’ancrage dans les applications Gemini et Vertex AI.
Sources : OpenAI, Anthropic, Perplexity, Google.
Quatre détails de ces pages passent facilement inaperçus :
- Le robot de recherche de Perplexity n’entraîne pas. Perplexity indique que
PerplexityBotne sert pas à explorer du contenu pour des modèles de fondation. Le bloquer ne protège rien côté entraînement. Google-Extendedn’est pas un robot. Google précise qu’il n’a pas de chaîne user-agent propre dans les requêtes HTTP : c’est un jeton à placer dans le robots.txt, sans effet sur la présence d’un site dans la recherche Google. Il n’apparaîtra jamais dans vos journaux serveur, et le bloquer ne vous sort pas des AI Overviews : la page de Google sur les fonctionnalités d’IA désigne les règles robots.txt de Googlebot comme le moyen de contrôle, avecnosnippet,data-nosnippet,max-snippetetnoindexpour limiter ce qui est affiché.- OpenAI exploite aussi
OAI-AdsBot, qui ne visite que les pages soumises comme publicités sur ChatGPT et dont les données ne servent pas à l’entraînement. - Anthropic formule son refus d’entraînement au futur : bloquer
ClaudeBotindique que les futurs contenus du site (« future materials ») doivent être exclus.
Deux autres jetons reviennent souvent. Applebot-Extended, chez Apple,
fonctionne comme celui de Google : il n’explore aucune page, il indique seulement à Apple de ne pas utiliser ce
qu’Applebot a exploré pour entraîner ses modèles, et les pages qui le bloquent peuvent toujours figurer dans les
résultats de recherche. CCBot est le robot de Common Crawl, qui constitue un
dépôt ouvert de données d’exploration du web.
Comment un robot choisit ses règles
C’est là que la plupart des fichiers se trompent. La
référence robots.txt de Google
indique qu’un seul groupe est valide pour un robot donné : celui dont le user-agent correspondant est le plus
spécifique, et que les groupes nommés et le groupe * ne sont pas combinés. La norme elle-même,
RFC 9309, fait du groupe * la règle par défaut des robots qui ne
correspondent à aucun autre groupe.
Un robot qui a son propre groupe ne lit donc plus le groupe *. Prenez ce fichier :
User-agent: *
Disallow: /admin/
Disallow: /checkout/
User-agent: GPTBot
Allow: /
Un robot qui suit la norme le lit ainsi : GPTBot peut tout explorer, /admin/ et /checkout/ compris. L’auteur
voulait dire « GPTBot est le bienvenu », il a écrit « GPTBot est dispensé de mes autres règles ». Si un robot nommé
doit garder les restrictions générales, répétez-les dans son groupe.
D’autres règles utiles, toutes tirées de la référence de Google :
- L’ordre des groupes ne compte pas, et les noms de user-agent ne tiennent pas compte de la casse. Les chemins, si.
- Un robots.txt ne vaut que pour l’hôte, le protocole et le port qui le servent.
www.example.cometshop.example.comont chacun besoin du leur. - Si le fichier répond par une erreur 4xx (hors 429), Google fait comme s’il n’existait pas : aucune restriction.
- Google ne prend pas en charge
Crawl-delay. Anthropic indique le prendre en charge.
Les changements ne sont pas immédiats. OpenAI indique que ses systèmes de recherche peuvent mettre environ 24 heures à s’ajuster après une modification du robots.txt, Perplexity parle de 24 heures au plus, et Google garde en général le fichier en cache jusqu’à 24 heures. Laissez passer une journée avant de tester.
Un fichier qui bloque l’entraînement et garde la recherche
OpenAI et Perplexity indiquent tous deux que chaque réglage fonctionne indépendamment, et l’exemple d’OpenAI
autorise OAI-SearchBot tout en bloquant GPTBot. Voici un fichier qui refuse l’entraînement pour les quatre
jetons d’entraînement ci-dessus, écarte aussi le dépôt ouvert de Common Crawl, et laisse la recherche et les
visites à la demande sous les règles générales :
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Bingbot n’ont pas de groupe à eux ici : ils
suivent le groupe *. Refuser ou non l’entraînement est une décision d’entreprise, pas une décision technique. Ce
que je déconseille, c’est la liste « bloquer toutes les IA » recopiée telle quelle, robots de recherche compris,
sur un site qui veut aussi être cité dans les réponses des IA.
Ce que le robots.txt ne peut pas faire
- C’est une demande, pas une serrure. La RFC 9309 précise que ces règles ne sont pas une forme d’autorisation d’accès, et Google que le robots.txt ne peut pas imposer un comportement : chaque robot choisit d’obéir. Anthropic indique que ses robots respectent les directives du robots.txt. Un aspirateur de contenu qui ignore le fichier n’est pas arrêté par lui.
- Il ne couvre pas toutes les visites à la demande. Voir
ChatGPT-UseretPerplexity-Userdans la liste ci-dessus. - Il ne retire pas une page de Google. Google indique qu’une page bloquée peut tout de même être indexée si
d’autres sites pointent vers elle. Pour sortir une page des résultats, utilisez
noindexet laissez-la explorer. - Il est public. La RFC rappelle que lister des chemins dans le fichier les rend découvrables. Ne vous en servez pas pour cacher une URL privée.
Vérifier le fichier réellement servi
Le fichier de votre CMS n’est pas toujours celui que les robots reçoivent, et un robot autorisé dans le robots.txt peut encore être arrêté avant d’atteindre la page.
- Votre CDN peut modifier le fichier. Chez Cloudflare, quand Bot Preference Sync est activé et qu’une règle IA
est réglée sur le blocage ou l’interdiction, la
documentation indique que
Cloudflare ajoute ses propres directives en tête de votre robots.txt. Son exemple interdit
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBotet trois autres. Ouvrezvotresite.com/robots.txtdans un navigateur et lisez ce qui s’y trouve vraiment. - Votre CDN peut bloquer en amont. Les règles de Cloudflare pour les robots IA définissent des actions séparées pour la recherche, les agents et l’entraînement et, d’après cette page (mise à jour le 2 novembre 2026), une action sur l’entraînement s’applique aussi aux robots qui servent à la fois à la recherche et à l’entraînement. Les nouveaux domaines sont en autorisation par défaut.
- Votre pare-feu peut bloquer un robot que vous avez autorisé. La documentation de Perplexity y consacre une section entière : avec un pare-feu applicatif (WAF), il peut falloir autoriser explicitement ses robots, et elle note que le Bot Fight Mode de Cloudflare ne peut pas être contourné par une règle personnalisée.
- Un user-agent se falsifie. OpenAI, Anthropic, Perplexity et Common Crawl publient chacun les plages d’adresses IP de leurs robots, et Common Crawl met en garde contre des robots qui se font passer pour CCBot. Vérifiez l’IP avant de conclure, sur une ligne de journal, qu’un éditeur a ignoré vos règles.
AI Crawl Control, disponible dans toutes les offres de Cloudflare, montre quels services d’IA demandent vos pages et lesquels suivent votre robots.txt.
Ce que je fais sur mon propre site
Mon robots.txt tient en une ligne, le sitemap. Rien n’est interdit : tous les robots de cet article peuvent lire le site. Je veux que les pages soient citées, et je n’y publie rien que je voudrais soustraire à l’entraînement. Un éditeur de presse ou un site à contenu payant peut raisonnablement choisir autrement pour les jetons d’entraînement. Ce sont les jetons de recherche qui méritent d’y réfléchir à deux fois.
Vérifier votre site
Mon audit SEO gratuit commence par un contrôle instantané qui lit votre robots.txt pour neuf jetons de robots. Il signale un blocage sur les six qui décident de la visibilité dans la recherche, et note un blocage des robots d’entraînement sans le compter contre vous. Pour une vue d’ensemble de ce que les moteurs documentent, voir Référencement IA : ce que Google, OpenAI, Anthropic et Perplexity documentent vraiment.
Ce qui manque à votre site
Commencez par un audit gratuit de votre site, vérifié par moi. Ou réservez trente minutes, votre projet à l’écran : vous repartez avec un plan cadré et un chiffre, que nous travaillions ensemble ou non.
