← Tous les articles
11 novembre 2026
SEO technique
7

Robots IA et robots.txt : ce que coûte le blocage de GPTBot, ClaudeBot et des autres

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended : lesquels entraînent des modèles, lesquels décident de votre présence dans les réponses des IA, et comment écrire un robots.txt qui ne bloque que ce que vous voulez bloquer.

« Bloquer les robots IA » ressemble à une seule décision. Il y en a au moins deux : votre contenu peut-il servir à entraîner des modèles, et votre site peut-il apparaître dans les réponses de recherche des IA. La plupart des éditeurs utilisent des robots ou des jetons distincts pour ces usages, et un robots.txt qui les traite comme un seul groupe bloque en général plus que son auteur ne le voulait. Cet article liste ce que chaque éditeur documente, puis les règles du fichier lui-même. Les affirmations des éditeurs renvoient à leurs sources, toutes lues le 11 novembre 2026.

Trois usages, trois types de robots

  • Les robots d’entraînement collectent des pages susceptibles de servir à entraîner des modèles. En bloquer un, c’est refuser l’entraînement. OpenAI, Perplexity, Google et Apple documentent chacun ce choix comme distinct de la présence dans leur produit de recherche.
  • Les robots de recherche construisent l’index que l’assistant interroge avant de répondre. En bloquer un vous sort des réponses, ou au moins y réduit votre visibilité.
  • Les visites à la demande d’un utilisateur chargent une page parce qu’une personne a interrogé l’assistant à son sujet. Ce n’est pas une exploration automatique, et deux des trois éditeurs ci-dessous indiquent que le robots.txt peut ne pas s’y appliquer.

Ce que chaque éditeur documente

OpenAI

  • GPTBot (entraînement) : le bloquer indique que le contenu ne doit pas servir à l’entraînement.
  • OAI-SearchBot (recherche) : le site n’est pas affiché dans les réponses de recherche de ChatGPT ; il peut encore apparaître comme lien de navigation.
  • ChatGPT-User (visite à la demande) : les règles du robots.txt « may not apply » ; il ne décide pas de l’apparition dans la recherche.

Anthropic

  • ClaudeBot (entraînement) : le bloquer indique que les futurs contenus du site doivent être exclus des données d’entraînement.
  • Claude-SearchBot (recherche) : le contenu n’est pas indexé pour la recherche, ce qui peut réduire la visibilité dans les résultats.
  • Claude-User (visite à la demande) : Claude ne peut pas récupérer la page pour répondre à la question d’un utilisateur.

Perplexity

  • PerplexityBot (recherche) : aucun coût n’est indiqué ; Perplexity recommande de l’autoriser pour apparaître dans ses résultats.
  • Perplexity-User (visite à la demande) : il ignore en général les règles du robots.txt, puisqu’un utilisateur a demandé la page.

Google

  • Google-Extended (contrôle de l’entraînement et de l’ancrage) : le contenu ne sert ni à entraîner les futurs modèles Gemini ni à l’ancrage dans les applications Gemini et Vertex AI.

Sources : OpenAI, Anthropic, Perplexity, Google.

Quatre détails de ces pages passent facilement inaperçus :

  • Le robot de recherche de Perplexity n’entraîne pas. Perplexity indique que PerplexityBot ne sert pas à explorer du contenu pour des modèles de fondation. Le bloquer ne protège rien côté entraînement.
  • Google-Extended n’est pas un robot. Google précise qu’il n’a pas de chaîne user-agent propre dans les requêtes HTTP : c’est un jeton à placer dans le robots.txt, sans effet sur la présence d’un site dans la recherche Google. Il n’apparaîtra jamais dans vos journaux serveur, et le bloquer ne vous sort pas des AI Overviews : la page de Google sur les fonctionnalités d’IA désigne les règles robots.txt de Googlebot comme le moyen de contrôle, avec nosnippet, data-nosnippet, max-snippet et noindex pour limiter ce qui est affiché.
  • OpenAI exploite aussi OAI-AdsBot, qui ne visite que les pages soumises comme publicités sur ChatGPT et dont les données ne servent pas à l’entraînement.
  • Anthropic formule son refus d’entraînement au futur : bloquer ClaudeBot indique que les futurs contenus du site (« future materials ») doivent être exclus.

Deux autres jetons reviennent souvent. Applebot-Extended, chez Apple, fonctionne comme celui de Google : il n’explore aucune page, il indique seulement à Apple de ne pas utiliser ce qu’Applebot a exploré pour entraîner ses modèles, et les pages qui le bloquent peuvent toujours figurer dans les résultats de recherche. CCBot est le robot de Common Crawl, qui constitue un dépôt ouvert de données d’exploration du web.

Comment un robot choisit ses règles

C’est là que la plupart des fichiers se trompent. La référence robots.txt de Google indique qu’un seul groupe est valide pour un robot donné : celui dont le user-agent correspondant est le plus spécifique, et que les groupes nommés et le groupe * ne sont pas combinés. La norme elle-même, RFC 9309, fait du groupe * la règle par défaut des robots qui ne correspondent à aucun autre groupe.

Un robot qui a son propre groupe ne lit donc plus le groupe *. Prenez ce fichier :

User-agent: *
Disallow: /admin/
Disallow: /checkout/

User-agent: GPTBot
Allow: /

Un robot qui suit la norme le lit ainsi : GPTBot peut tout explorer, /admin/ et /checkout/ compris. L’auteur voulait dire « GPTBot est le bienvenu », il a écrit « GPTBot est dispensé de mes autres règles ». Si un robot nommé doit garder les restrictions générales, répétez-les dans son groupe.

D’autres règles utiles, toutes tirées de la référence de Google :

  • L’ordre des groupes ne compte pas, et les noms de user-agent ne tiennent pas compte de la casse. Les chemins, si.
  • Un robots.txt ne vaut que pour l’hôte, le protocole et le port qui le servent. www.example.com et shop.example.com ont chacun besoin du leur.
  • Si le fichier répond par une erreur 4xx (hors 429), Google fait comme s’il n’existait pas : aucune restriction.
  • Google ne prend pas en charge Crawl-delay. Anthropic indique le prendre en charge.

Les changements ne sont pas immédiats. OpenAI indique que ses systèmes de recherche peuvent mettre environ 24 heures à s’ajuster après une modification du robots.txt, Perplexity parle de 24 heures au plus, et Google garde en général le fichier en cache jusqu’à 24 heures. Laissez passer une journée avant de tester.

Un fichier qui bloque l’entraînement et garde la recherche

OpenAI et Perplexity indiquent tous deux que chaque réglage fonctionne indépendamment, et l’exemple d’OpenAI autorise OAI-SearchBot tout en bloquant GPTBot. Voici un fichier qui refuse l’entraînement pour les quatre jetons d’entraînement ci-dessus, écarte aussi le dépôt ouvert de Common Crawl, et laisse la recherche et les visites à la demande sous les règles générales :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.example.com/sitemap.xml

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Bingbot n’ont pas de groupe à eux ici : ils suivent le groupe *. Refuser ou non l’entraînement est une décision d’entreprise, pas une décision technique. Ce que je déconseille, c’est la liste « bloquer toutes les IA » recopiée telle quelle, robots de recherche compris, sur un site qui veut aussi être cité dans les réponses des IA.

Ce que le robots.txt ne peut pas faire

  • C’est une demande, pas une serrure. La RFC 9309 précise que ces règles ne sont pas une forme d’autorisation d’accès, et Google que le robots.txt ne peut pas imposer un comportement : chaque robot choisit d’obéir. Anthropic indique que ses robots respectent les directives du robots.txt. Un aspirateur de contenu qui ignore le fichier n’est pas arrêté par lui.
  • Il ne couvre pas toutes les visites à la demande. Voir ChatGPT-User et Perplexity-User dans la liste ci-dessus.
  • Il ne retire pas une page de Google. Google indique qu’une page bloquée peut tout de même être indexée si d’autres sites pointent vers elle. Pour sortir une page des résultats, utilisez noindex et laissez-la explorer.
  • Il est public. La RFC rappelle que lister des chemins dans le fichier les rend découvrables. Ne vous en servez pas pour cacher une URL privée.

Vérifier le fichier réellement servi

Le fichier de votre CMS n’est pas toujours celui que les robots reçoivent, et un robot autorisé dans le robots.txt peut encore être arrêté avant d’atteindre la page.

  • Votre CDN peut modifier le fichier. Chez Cloudflare, quand Bot Preference Sync est activé et qu’une règle IA est réglée sur le blocage ou l’interdiction, la documentation indique que Cloudflare ajoute ses propres directives en tête de votre robots.txt. Son exemple interdit GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot et trois autres. Ouvrez votresite.com/robots.txt dans un navigateur et lisez ce qui s’y trouve vraiment.
  • Votre CDN peut bloquer en amont. Les règles de Cloudflare pour les robots IA définissent des actions séparées pour la recherche, les agents et l’entraînement et, d’après cette page (mise à jour le 2 novembre 2026), une action sur l’entraînement s’applique aussi aux robots qui servent à la fois à la recherche et à l’entraînement. Les nouveaux domaines sont en autorisation par défaut.
  • Votre pare-feu peut bloquer un robot que vous avez autorisé. La documentation de Perplexity y consacre une section entière : avec un pare-feu applicatif (WAF), il peut falloir autoriser explicitement ses robots, et elle note que le Bot Fight Mode de Cloudflare ne peut pas être contourné par une règle personnalisée.
  • Un user-agent se falsifie. OpenAI, Anthropic, Perplexity et Common Crawl publient chacun les plages d’adresses IP de leurs robots, et Common Crawl met en garde contre des robots qui se font passer pour CCBot. Vérifiez l’IP avant de conclure, sur une ligne de journal, qu’un éditeur a ignoré vos règles.

AI Crawl Control, disponible dans toutes les offres de Cloudflare, montre quels services d’IA demandent vos pages et lesquels suivent votre robots.txt.

Ce que je fais sur mon propre site

Mon robots.txt tient en une ligne, le sitemap. Rien n’est interdit : tous les robots de cet article peuvent lire le site. Je veux que les pages soient citées, et je n’y publie rien que je voudrais soustraire à l’entraînement. Un éditeur de presse ou un site à contenu payant peut raisonnablement choisir autrement pour les jetons d’entraînement. Ce sont les jetons de recherche qui méritent d’y réfléchir à deux fois.

Vérifier votre site

Mon audit SEO gratuit commence par un contrôle instantané qui lit votre robots.txt pour neuf jetons de robots. Il signale un blocage sur les six qui décident de la visibilité dans la recherche, et note un blocage des robots d’entraînement sans le compter contre vous. Pour une vue d’ensemble de ce que les moteurs documentent, voir Référencement IA : ce que Google, OpenAI, Anthropic et Perplexity documentent vraiment.

Article
Format long
Sujet
SEO technique
Publié le
11 novembre 2026
Lecture
7
Écrit par
Grégoire Geoffroy
Sommaire
Dans cet article

Ce qui manque à votre site

Commencez par un audit gratuit de votre site, vérifié par moi. Ou réservez trente minutes, votre projet à l’écran : vous repartez avec un plan cadré et un chiffre, que nous travaillions ensemble ou non.

Grégoire Geoffroy
Grégoire Geoffroy
Webflow Partner
Audit gratuit
Lien du rapport sous 3 jours ouvrés
Appel
30 min · Google Meet
Fuseau horaire
Europe/Paris
Réponse
Sous un jour ouvré