Comment bloquer les bots IA, les robots d’indexation et les scrapers

La plupart des sites qui bloquent les bots d’IA en bloquent moins qu’ils ne le pensent. Le problème est que robots.txt ne fournit aucun retour. Vous ajoutez les instructions, enregistrez le fichier, et rien dans vos logs ou votre console ne confirme si elles ont eu un effet. Un bot, crawler ou scraper d’IA qui ignore le fichier ne génère aucune erreur. La configuration est effectuée une fois et est rarement réexaminée.

DataDome a testé ce problème à grande échelle, en envoyant à 698 214 sites une requête usurpant l’identité de ChatGPT. Près de 80 % des sites web l’ont laissée passer.

Ce guide explique comment y remédier. Il présente les bots IA, les robots d’indexation et les scrapers qui accèdent actuellement aux sites web, leur fonction respective, ainsi que quatre méthodes pour les bloquer, allant de la modification du fichier robots.txt à la vérification cryptographique de l’identité. Chaque méthode s’accompagne d’une description claire des bots qu’elle bloque et de ceux qu’elle ne bloque pas.

Points clés à retenir

• Les bots IA remplissent trois fonctions différentes : entraîner des modèles, indexer du contenu pour la recherche par intelligence artificielle et récupérer des pages pour le compte d’un utilisateur. En bloquer un ne bloque pas automatiquement les autres.
• Le fichier robots.txt ne régit que les bots qui se déclarent et choisissent de suivre les instructions. Plusieurs robots d’indexation majeurs indiquent dans leur propre documentation qu’il peut ne pas s’appliquer à eux.
• Quatre méthodes combinées permettent de bloquer les bots, les robots d’indexation et les scrapers d’IA : robots.txt, les en-têtes HTTP, les règles edge et une solution de gestion des bots qui vérifie leur identité et analyse leur intention.
• La bonne question n’est plus « est-ce un bot ou non ? », mais « puis-je vérifier de qui il s’agit, et se comporte-t-il comme il le prétend ? ».

Que sont les bots IA ?

Les bots IA sont des clients automatisés qui analysent votre contenu pour créer ou fournir des produits d’IA. Ils n’ont généralement pas pour but de vous envoyer des visiteurs, ce qui permet de les distinguer des robots d’indexation.

Par exemple, Googlebot est un robot d’indexation qui indexe votre page afin qu’un utilisateur puisse la trouver sur Google et cliquer dessus. Un robot d’entraînement d’IA intègre votre page dans un modèle qui répond aux questions qu’un utilisateur pourrait se poser au sujet de votre entreprise, sans qu’il soit nécessaire de cliquer.

Les bots IA ont trois fonctions distinctes, et cette distinction détermine tout ce qui suit :

1. Les bots d’entraînement collectent du contenu pour entraîner ou affiner un grand modèle de langage (LLM).
2. Les robots d’indexation (ou crawlers) constituent un index d’informations que le produit d’IA interroge lorsqu’il répond à une question.
3. Les robots de récupération (fetchers) en temps réel récupèrent une URL spécifique au moment où un utilisateur la demande.

Les bots IA qui visitent votre site en 2026

Chaque entrée ci-dessous provient de la documentation publiée par l’opérateur lui-même.

Il ne s’agit pas de scrapers malveillants, mais des politiques publiées par de grandes plateformes. OpenAI, Perplexity et Meta disposent tous de bots IA qui contournent ou ignorent votre fichier robots.txt.

Quelle est la différence entre les bots d’entraînement d’IA et les bots RAG ?

Les bots d’entraînement récupèrent votre contenu une seule fois et le conservent. Les bots RAG reviennent régulièrement sur votre contenu et peuvent, ce faisant, vous envoyer des visiteurs. Plus précisément :

L’entraînement signifie que votre contenu est intégré aux poids du LLM. Une fois entraîné, le modèle n’a plus jamais besoin de votre site. Aucune attribution, aucun référencement ni aucune compensation.

La génération augmentée par la récupération (RAG), également appelée « grounding », décrit ce que fait le modèle lorsqu’il répond à une question. Il peut répondre à une question de deux manières :

• Les robots d’indexation tels que OAI-SearchBot, Claude-SearchBot, PerplexityBot et Meta-WebIndexer visitent votre site selon leur propre calendrier et constituent un index que l’assistant interroge au moment de répondre. Aucun contenu n’est récupéré en temps réel. C’est l’équivalent de Googlebot pour l’IA, et ils réagissent à robots.txt de la même manière.
• Les fetchers en temps réel tels que ChatGPT-User, Claude-User, Perplexity-User et Meta-ExternalFetcher récupèrent une seule URL au moment où un utilisateur la demande. Cela se produit en temps réel, ce qui explique pourquoi plusieurs opérateurs indiquent que le fichier robots.txt ne s’applique pas nécessairement à eux. Une personne a demandé la page ; ils considèrent donc cela comme une action de l’utilisateur plutôt que comme une exploration.

Les robots d’indexation et les robots de récupération en direct peuvent tous deux générer une citation ; ils peuvent donc tous deux vous envoyer du trafic, à cette différence près que seuls les robots d’indexation répondront de manière fiable à votre fichier robots.txt. Cette distinction est utile, car elle vous permet de comprendre comment chaque plateforme d’IA fournit des informations à ses utilisateurs.

Par exemple, le rapport DataDome sur le trafic IA en 2026 montre que le volume d’exploration de ChatGPT-User a baissé de 6 % d’un trimestre à l’autre, tandis que les clics de référence provenant de ChatGPT ont augmenté de 17 %. ChatGPT représente désormais 80 % ou plus de l’ensemble du trafic de référence généré par l’IA. De son côté, Meta présente une situation inverse. Meta-ExternalAgent et Meta-WebIndexer ont généré à eux deux 9,1 milliards de requêtes au deuxième trimestre, soit plus de la moitié de l’ensemble du trafic IA sur le réseau de DataDome, sans renvoyer pratiquement aucun visiteur.

À l’heure actuelle, la plupart des éditeurs bloquent les crawlers d’entraînement et autorisent les crawlers de grounding, au moins jusqu’à ce que les cadres de rémunération arrivent à maturité. La pertinence de ce compromis pour vous dépend de la capacité des visites provenant de l’IA à générer des conversions pour votre entreprise. Si c’est le cas, une solution de gestion de la confiance des agents est le moyen le plus efficace de visualiser clairement votre trafic IA et de n’autoriser que les agents auxquels vous faites confiance.

Pourquoi devriez-vous bloquer les bots IA ?

L’exploration IA non restreinte vous coûte de l’argent, vous fait perdre votre position concurrentielle et sollicite votre infrastructure sans rien vous apporter en retour. Plus précisément :

1. Votre contenu sert à entraîner un substitut à votre propre contenu. Si votre activité dépend de recherches originales, de descriptions de produits ou de contenu éditorial, un modèle entraîné sur ce contenu peut en produire gratuitement un quasi-équivalent. Votre budget R&D subventionne la production d’un concurrent.
2. Vous payez pour servir un trafic qui ne convertit jamais. Des milliards de requêtes consomment de la bande passante, du CPU et des ressources CDN. Meta à lui seul a généré 9,1 milliards de requêtes sur le réseau de DataDome en un seul trimestre, avec une valeur de trafic de référencement négligeable.
3. Vos données analytiques ne reflètent plus la réalité. Lorsque le trafic des bots est attribué à tort à des humains ou que de faux référents IA gonflent artificiellement un canal, vous optimisez sur la base de données parasites. L’équipe de recherche sur les menaces de DataDome a documenté une augmentation de ce qui semblait être du trafic référent provenant de ChatGPT, mais qui s’est avéré être des scrapers exécutant 22 requêtes par seconde via des proxys résidentiels.
4. Vous perdez le contrôle sur la manière dont votre marque est représentée. Du contenu obsolète ou mal interprété apparaît dans les réponses des IA sous votre marque, sans aucun moyen de corriger ces informations erronées.

Quels sont les trois niveaux de bots IA que vous pouvez vérifier ?

Tous les bots d’IA ne peuvent pas être identifiés avec le même niveau de confiance, et votre défense doit s’adapter en conséquence. Il existe trois niveaux.

Niveau 1 : les bots bien élevés

Ils se déclarent honnêtement via leur user agent et respectent robots.txt. Cela concerne les principaux laboratoires de pointe : OpenAI, Anthropic, Google, Meta et Perplexity. Tous publient des fichiers de plages d’adresses IP que vous pouvez vérifier, et certains prennent désormais en charge Web Bot Auth, une norme émergente de l’IETF qui associe une signature cryptographique à chaque requête.

Le fichier robots.txt et les en-têtes HTTP suffisent ici, car l’opérateur a déjà décidé de coopérer.

Niveau 2 : les bots mal élevés, mais détectables

Soit ils ignorent le fichier robots.txt tout en s’identifiant correctement, soit ils usurpent un agent utilisateur légitime pour bénéficier du contrôle moins strict réservé au trafic IA reconnu. Dans les deux cas, ils peuvent être détectés grâce à la vérification des adresses IP par rapport aux plages publiées par l’opérateur, aux empreintes TLS, aux modèles comportementaux et à la répartition des requêtes.

Le hic, c’est que la détection ne se produit que si vous effectuez la vérification. DataDome a envoyé une requête ChatGPT-User usurpée à 698 214 sites web accessibles. 79,7 % l’ont laissée passer, et seuls 17,8 % l’ont bloquée ou soumise à un challenge. OpenAI publie les plages d’adresses IP de ChatGPT-User, de sorte qu’une simple vérification aurait permis d’identifier chacune de ces requêtes.

Niveau 3 : les bots malveillants

Ceux-ci échappent activement à la détection à chaque couche. Ils alternent les adresses IP résidentielles, utilisent de véritables moteurs de navigation et espacent leurs requêtes pour paraître humains ; il n’y a donc pas d’identité stable à vérifier ni de plage d’adresses publiée à comparer. Le blocage de tous les agents utilisateurs IA connus n’a aucun effet sur eux.

L’équipe de recherche sur les menaces de DataDome a documenté une opération se faisant passer pour des visiteurs humains provenant de ChatGPT : 22 requêtes par seconde via des proxys résidentiels, avec une seule session ayant consulté 109 pages produits en cinq secondes. Rien dans les en-têtes ne permettait de l’identifier ; seul le rythme des requêtes l’a révélée.

Pour détecter ce niveau, il faut recourir à une analyse comportementale basée sur l’apprentissage automatique.

Comment identifier les robots d’indexation basés sur l’IA ?

Vous identifiez les robots d’indexation IA en recherchant et en vérifiant d’abord leur agent utilisateur. Ensuite, vous observez leur comportement. Ces deux étapes sont indispensables. Ne vous fiez jamais uniquement à l’auto-identification d’un robot d’indexation basé sur l’IA.

Pour les techniques de détection sous-jacentes qui s’appliquent au trafic des bots en général, consultez ce guide pour identifier le trafic des bots.

Chaîne d’agent utilisateur

Le token robots.txt est le nom court que vous écrivez dans vos directives. La chaîne du user agent est ce qui arrive réellement dans les logs de votre serveur. Par exemple :

Effectuez la correspondance sur le jeton, et non sur la chaîne complète, car les opérateurs la modifient sans préavis.

Signaux liés aux schémas de trafic

Les schémas suivants indiquent une collecte automatisée même lorsque le user agent semble anodin :

• volume élevé de requêtes provenant d’une seule source ou d’un bloc d’adresses IP restreint ;
• exploration systématique de la structure de votre site dans l’ordre ;
• forte préférence pour les pages de texte, tandis que les images, scripts et éléments interactifs sont ignorés ;
• récupération inhabituelle d’anciens contenus d’archives qui ne reçoivent aucun trafic humain ;
• requêtes qui accèdent directement à vos API sans jamais passer par l’interface.

Pourquoi l’auto-identification ne suffit pas

Un agent utilisateur est une chaîne de caractères choisie par le client. Rien n’empêche un script quelconque d’envoyer les chaînes d’OpenAI. C’est pourquoi l’identification doit inclure une vérification. Pour les imposteurs de niveau 2, la vérification suffit. Pour les bots de niveau 3, qui ne présentent aucune identité cohérente à vérifier, seule l’analyse comportementale fonctionne.

Comment bloquer les bots IA ?

Il existe quatre méthodes pour bloquer les bots IA, classées par ordre croissant de couverture et d’effort.

Méthode 1 : utiliser robots.txt

Cela fonctionne uniquement contre les bots de niveau 1. Robots.txt est la première étape la plus rapide, mais aussi le mécanisme d’application le plus faible dont vous disposez. Il bloque uniquement les bots qui choisissent de s’y conformer.

# Crawlers d’entraînement

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: CCBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: Applebot-Extended

Disallow: /

User-agent: meta-externalagent

Disallow: /

User-agent: Bytespider

Disallow: /

User-agent: Amazonbot

Disallow: /

# Crawlers de recherche et de grounding

# Les bloquer vous exclut des réponses des IA. Décidez-le délibérément.

User-agent: OAI-SearchBot

Disallow: /

User-agent: Claude-SearchBot

Disallow: /

User-agent: PerplexityBot

Disallow: /

User-agent: Meta-WebIndexer

Disallow: /

Chaque bot doit disposer de son propre groupe. Bloquer ClaudeBot ne bloque pas Claude-SearchBot ni Claude-User. Bloquer GPTBot ne bloque pas OAI-SearchBot. Il s’agit de contrôles distincts par conception, et les opérateurs les ont conçus ainsi pour que vous puissiez autoriser la recherche tout en refusant l’entraînement.

Le fichier robots.txt vaut la peine d’être créé. C’est une déclaration publique d’intention, et une preuve si jamais vous devez contester une utilisation non autorisée. Mais il ne fonctionne que sur les robots qui allaient de toute façon coopérer et ne constitue pas une protection.

Méthode 2 : utiliser les en-têtes HTTP et les balises meta au niveau de la page

Cette méthode est efficace contre les robots de niveau 1 avec une précision au niveau de la page. Les en-têtes vous permettent de contrôler chaque page individuellement plutôt que des répertoires entiers, et touchent certains produits d’IA que le fichier robots.txt ne parvient pas à atteindre. Par exemple, pour les produits d’IA de Microsoft, utilisez la balise prise en charge par Microsoft :

<meta name=“robots” content=“noarchive”>

Le contenu portant la balise noarchive est exclu des réponses IA de Bing et de l’entraînement des modèles fondamentaux de Microsoft, tandis que votre référencement Bing normal est conservé. nocache est l’option plus souple : le contenu peut toujours apparaître dans les réponses IA, mais uniquement sous forme d’URL, de titre et d’extrait.

N’utilisez pas X-Robots-Tag: noindex comme mécanisme de contrôle de l’IA. Cela supprime la page des résultats de recherche et n’arrête aucun crawler d’entraînement IA. Si vous souhaitez sortir des résultats de recherche, c’est la bonne balise. Si vous souhaitez exclure votre contenu de l’entraînement des IA, elle ne fait rien de ce que vous recherchez.

Même mise en garde que pour la méthode 1 : il s’agit de signaux volontaires, et un robot doit récupérer la page pour les lire.

Méthode 3 : appliquer des barrières techniques

Cette méthode fonctionne contre les robots IA de niveau 1 et 2, si vous procédez à une vérification plutôt qu’à une simple correspondance de motifs. C’est là que vous cessez de demander et commencez à imposer.

La limitation du débit plafonne le nombre de requêtes par source sur une période donnée. Elle est efficace contre les robots d’indexation qui sollicitent massivement une même adresse, mais inutile contre un scraper distribué sur des milliers d’adresses IP résidentielles.

Le rendu JavaScript empêche l’accès au contenu via une simple requête HTTP. Les robots d’indexation sérieux utilisent des navigateurs sans interface graphique, et verrouiller le contenu derrière du JavaScript vous coûte en visibilité dans les résultats de recherche et en accessibilité. Considérez cela comme une friction, pas comme une barrière.

La vérification des adresses IP est la technique qui distingue cette méthode des deux précédentes. Vérifier si une requête prétendant être GPTBot provient de la plage publiée par OpenAI permet de bloquer les imposteurs.

Les fonctions edge et les règles CDN constituent les points de mise en œuvre de ces barrières. Une mise en garde provenant de la documentation d’Anthropic : un blocage généralisé des adresses IP peut empêcher les robots d’indexation de lire votre fichier robots.txt, de sorte que vos préférences déclarées ne sont jamais prises en compte.

Méthode 4 : utiliser une solution de gestion des bots qui vérifie l’identité et analyse l’intention

Cette approche fonctionne contre tous les types de bots IA. Pour les bots qui usurpent l’identité, changent d’identité et évoluent, l’analyse comportementale est la seule défense fiable. La gestion de la confiance des agents permet de se prémunir contre ce type de bots. Au lieu de se demander « s’agit-il d’un bot ? », le système se demande :

• si l’agent peut prouver cryptographiquement son identité,
• si ce qu’il fait correspond à ce qu’il prétend faire.

L’évaluation de ce marché réalisée par Forrester au deuxième trimestre 2026 s’intitule The Forrester Wave™: Bot and Agent Trust Management Software. L’identité des agents est désormais considérée comme un problème distinct de la détection des bots, et non comme un sous-ensemble de celle-ci. DataDome a été désigné Leader dans cette évaluation, Forrester soulignant notamment ses capacités de gestion de la confiance des agents d’IA.

En pratique, Agent Trust de DataDome vérifie l’identité des agents en périphérie à l’aide de signatures Web Bot Auth et d’une infrastructure publiée, puis applique une analyse comportementale en temps réel pour détecter les agents vérifiés qui commencent à agir de manière malveillante. La détection s’effectue avec une latence P95 inférieure à 2 ms, de sorte que les robots d’indexation légitimes et les visiteurs humains ne remarquent aucune différence.

Grâce à Agent Trust, vous pouvez autoriser Googlebot, les bots de prévisualisation des réseaux sociaux et vos outils de référencement, ainsi que les robots d’exploration fiables qui vous apportent du trafic, tout en bloquant les robots d’entraînement et les usurpateurs d’identité.

Cette sélectivité est également ce qui permet de monétiser le trafic IA plutôt que de simplement le bloquer. Patrick Hainault, VP of Corporate Business Development chez Fast Company, décrit cette approche combinée comme la raison pour laquelle ils peuvent contrôler l’accès : « DataDome détecte et gère le trafic IA le plus sophistiqué, renforçant ainsi notre capacité à le monétiser. »

Quelles sont les bonnes pratiques pour bloquer les bots IA ?

1. Combinez les méthodes. Chaque méthode couvre un niveau différent. Utiliser les quatre vous offrira la défense la plus solide contre les bots IA.
2. Vérifiez, ne vous fiez pas aveuglément. Comparez les user agents aux plages d’adresses IP publiées et adoptez Web Bot Auth lorsque les opérateurs le prennent en charge. Une chaîne d’agent utilisateur est une déclaration, pas une authentification.
3. Auditez votre fichier robots.txt pour détecter d’éventuels blocages accidentels. Une ancienne directive Disallow: / sous User-agent: * avec des exceptions Allow pour Googlebot et Bingbot bloque désormais silencieusement tous les robots d’IA qui auraient pu vous référencer.
4. Réévaluez la situation tous les trimestres. OpenAI a ajouté OAI-AdsBot, Google a ajouté Google-Agent en mars 2026, Anthropic a divisé un bot en trois et abandonné Claude-Web et anthropic-ai. Un fichier rédigé en 2025 est déjà obsolète.
5. Consignez votre position juridique par écrit. Mettez à jour vos conditions d’utilisation afin d’interdire l’exploration à des fins d’entraînement d’IA sans licence.

La menace va au-delà du scraping

Trois niveaux de robots IA nécessitent quatre couches de défense. Le fichier robots.txt et les en-têtes HTTP gèrent les robots qui ont toujours été disposés à coopérer. Les règles en périphérie interceptent ceux qui manquent de prudence. Seules la vérification d’identité et l’analyse comportementale permettent d’atteindre ceux qui mentent sur leur identité.

La menace dépasse déjà le simple scraping. Sur le réseau de DataDome, le trafic MCP est passé de zéro à des pics approchant 500 000 requêtes par jour en l’espace de quelques semaines. Autrement dit, les agents capables de scraper peuvent désormais aussi appeler vos API, soumettre des formulaires et finaliser des achats. Si la plupart de ces activités sont légitimes, certaines ne le sont pas.