Robots d'indexation basés sur l'IA, fichier robots.txt et signaux de contenu

Mise à jour : juin 2026. Dès que les gestionnaires de sites web entendent parler des robots d'indexation basés sur l'IA, l'une des deux réactions suivantes se produit souvent : soit tout est immédiatement bloqué, car „ l'IA ne doit pas tout voler comme ça “ ; soit tout reste accessible, car la visibilité semble en quelque sorte être une bonne chose. Ces deux approches sont trop simplistes.

La meilleure approche est moins spectaculaire et nettement plus utile : commencez par comprendre ce que fait chaque bot. La recherche, l'apprentissage, l'appel déclenché par l'utilisateur, la vérification des publicités, l'outil de test et le crawl d'audit ne sont pas la même chose. Ceux qui mettent tout dans le même panier perdent soit inutilement en visibilité, soit laissent de côté des éléments qui devraient en réalité être contrôlés.

Le résumé

• Le fichier robots.txt contrôle l'exploration, mais pas automatiquement la visibilité. Une URL bloquée peut tout de même apparaître dans les résultats de recherche si elle est référencée par un lien externe.
• Le fichier robots.txt n'est pas un bouclier de protection des données. Les contenus privés doivent être accessibles uniquement après connexion, protégés par un mot de passe ou hébergés sur des systèmes non publics, et non pas simplement soumis à une règle « Disallow ».
• Les robots d'indexation basés sur l'IA ont des missions différentes. Les robots de recherche, les robots d'entraînement et les requêtes déclenchées par les utilisateurs doivent être évalués séparément.
• Google-Extended n'est pas un robot d'indexation visible à part entière. Il s'agit d'un indicateur de contrôle présent dans le fichier robots.txt qui, selon Google, concerne l'entraînement et l'ancrage de Gemini, et non le classement dans les résultats de recherche Google.
• Ceux qui bloquent les robots de recherche risquent de perdre leur visibilité auprès de l'IA. Ceux qui autorisent les bots d'entraînement font un autre choix. C'est précisément cette distinction qui est importante.
• Les signaux liés au contenu restent déterminants. Un contenu clair, une bonne structure, des données de schéma bien organisées, des plans de site, des liens internes et des versions lisibles par les robots sont bien plus utiles qu’un « bot-bingo » fait dans la précipitation.

Mon conseil : considérez le fichier robots.txt comme une affiche sur la porte, et non comme un coffre-fort. Pour être visible, vous avez besoin d'accessibilité et de bons signaux. Pour vous protéger, vous avez besoin d'un véritable contrôle d'accès. Ce sont deux aspects distincts.

Le rôle réel du fichier robots.txt

Le fichier robots.txt se trouve à la racine de votre site web, par exemple à l'adresse https://example.com/robots.txt. Les robots d'indexation fiables les consultent avant d'accéder aux pages. Ces fichiers indiquent les zones qu'un agent utilisateur donné est autorisé à explorer et celles qu'il ne doit pas explorer.

Google décrit le fichier robots.txt de manière très sobre : ce fichier indique aux robots d'indexation des moteurs de recherche quelles URL ils sont autorisés à consulter. Son objectif principal est de contrôler le trafic généré par les robots d'indexation afin d'éviter de surcharger inutilement les serveurs. Il n'est pas destiné à empêcher l'indexation de sites web par Google.

Cela peut sembler anodin, mais c'est déjà la moitié du chemin. Le fichier robots.txt est une règle d'exploration. Elle répond à la question : „ Ce robot a-t-il le droit d'accéder à cette URL ? “ Elle ne répond pas automatiquement à la question : „ Cette URL a-t-elle le droit d'apparaître dans les résultats de recherche ? “ Et elle ne répond surtout pas à la question : „ Ce contenu est-il privé ? “

Ce que le fichier robots.txt ne fait pas

L'erreur la plus courante consiste à confondre ne pas explorer, ne pas indexer, Ne pas afficher et ne pas utiliser. Ce sont des objectifs différents.

• À ne pas explorer : Un robot ne doit pas récupérer une URL. C'est à cela que sert le fichier robots.txt.
• Ne pas indexer : Pour qu'une URL n'apparaisse pas dans les résultats de recherche, il faut généralement noindex ou la distance réelle.
• Ne pas être accessible au public : Un contenu doit rester privé. Pour cela, tu as besoin d'un identifiant, d'un mot de passe, d'une vérification des droits d'accès ou d'un espace de stockage non public.
• Ne sont pas utilisés pour l'entraînement : En revanche, certains fournisseurs disposent de leurs propres jetons d'agent utilisateur, par exemple GPTBot, ClaudeBot ou Google-Extended.
• Ne pas afficher dans AI Search : En revanche, chez certains fournisseurs, les robots de recherche jouent un rôle important, par exemple OAI-SearchBot, Claude-SearchBot ou PerplexityBot.

Ce qui est particulièrement piégeux : si vous bloquez une page via le fichier robots.txt, Google peut, selon sa propre documentation, tout de même trouver l'URL si d'autres pages y renvoient. Dans ce cas, l'URL peut apparaître dans les résultats de recherche sans extrait. Ce n'est généralement pas ce que souhaitent les gestionnaires de sites web.

Si quelque chose ne doit vraiment pas être accessible au public, il ne suffit pas de l'indiquer dans le fichier robots.txt. Il faut alors le protéger par un contrôle d'accès. Point final. Le fichier robots.txt est une indication destinée aux robots d'indexation courtois, pas un système de sécurité.

Quatre cas qu'il faut bien distinguer les uns des autres

Pour AI Visibility, la distinction entre les objectifs des bots est désormais plus importante que le nom de chaque bot. Concrètement, on distingue quatre cas :

cas	De quoi s'agit-il ?	Décision typique
Robot d'indexation	Les contenus sont recherchés et mis en lien pour les interfaces de recherche ou de réponse.	Autoriser la plupart du temps pour les contenus publics importants.
Crawler d'entraînement	Les données peuvent être collectées à des fins d'entraînement ou d'amélioration des modèles.	Une décision mûrement réfléchie, souvent plus restrictive que la recherche.
Récupération déclenchée par l'utilisateur	Une personne demande à un système d'IA de récupérer une URL ou une source précise.	Ne pas bloquer par réflexe, mais protéger les zones sensibles.
Outil, audit ou robot d'exploration de produits	Un service vérifie, affiche, teste ou analyse des pages à la demande.	N'autoriser que si l'objectif et la source sont plausibles.

C'est précisément là que les choses deviendront plus intéressantes en 2026 qu'auparavant. Auparavant, le fichier robots.txt était surtout un aspect secondaire du référencement pour de nombreux sites WordPress. Aujourd’hui, ce même fichier peut influencer la facilité avec laquelle les contenus sont trouvés dans ChatGPT Search, Claude Search, Perplexity ou des fonctionnalités similaires à Gemini, déterminer s’ils sont mis à disposition pour l’entraînement et empêcher que les WAF ne bloquent par erreur des bots IA légitimes.

Googlebot, Google-Extended et Google-CloudVertexBot

Sur Google, cette distinction est particulièrement importante, car de nombreux débats y sont étonnamment flous.

Googlebot est le robot d'indexation classique de Google pour Google Search. Règles pour Googlebot Selon Google, cela concerne la recherche Google, y compris ses fonctionnalités de recherche, ainsi que d'autres interfaces telles que Discover, Google Images, Google Video et Google Actualités. Quiconque bloque Googlebot de manière générale ne bloque donc pas „ uniquement l'IA “, mais aussi la visibilité normale sur Google.

Google-Extended C'est différent. Selon Google, Google Extended ne dispose pas de son propre agent utilisateur HTTP. L'exploration s'effectue à l'aide des agents utilisateurs Google existants ; Google-Extended Il s'agit d'un jeton robots.txt destiné à la gestion. Il vise à permettre aux éditeurs de contrôler si les contenus déjà explorés par Google peuvent être utilisés pour l'entraînement des futurs modèles Gemini et pour le « grounding » dans les applications Gemini et Vertex AI. Google précise en outre expressément que Google-Extended n'influence en rien l'indexation dans Google Search et n'est pas utilisé comme signal de classement dans Google Search.

Google Cloud VertexBot Selon la documentation de Google, cela concerne les explorations que les administrateurs de sites web lancent pour créer des agents Vertex AI. Cela n'a pas non plus d'effet sur Google Search. Si une organisation crée ses propres agents avec Vertex AI, ce bot peut être pertinent. Pour un blog WordPress classique, ce n’est donc pas, dans un premier temps, le levier qui permet de déterminer sa visibilité sur Google.

En résumé : Google n'est pas un simple « bouton » d'IA. Googlebot, Google-Extended et Google-CloudVertexBot ont des significations différentes. Si vous désactivez tout d’un coup par dépit, vous prenez par la même occasion des décisions concernant la recherche classique, les images, les actualités, l’utilisation de Gemini et les flux de travail des agents. Ce n’est pas une décision à prendre à la légère.

OpenAI : OAI-SearchBot, GPTBot et les utilisateurs de ChatGPT

OpenAI distingue assez clairement ces différentes finalités dans la documentation relative à son propre robot d'indexation.

• OAI-SearchBot: pour ChatGPT Search. Selon OpenAI, les utilisateurs qui bloquent ce bot risquent de ne plus apparaître dans les résultats de recherche de ChatGPT, même si les liens de navigation peuvent rester accessibles.
• GPTBot: pour les contenus pouvant être utilisés pour l'entraînement de modèles de base génératifs. Une directive « Disallow » pour GPTBot indique que ces contenus ne doivent pas être utilisés à des fins d'entraînement.
• Utilisateurs de ChatGPT: pour certaines actions effectuées par les utilisateurs dans ChatGPT et les GPT personnalisés. Ces requêtes sont déclenchées par les utilisateurs et ne constituent pas un exploration automatique du Web. OpenAI souligne donc que les règles du fichier robots.txt ne s'appliquent pas toujours dans ce cas.

Pour les gestionnaires de sites web, cette distinction est assez importante. Tu peux par exemple dire : « Je souhaite que mon site soit référencé dans ChatGPT Search, mais je ne souhaite pas que mes contenus soient utilisés à des fins d'entraînement. » Dans ce cas, voici un exemple de format possible : OAI-SearchBot permettre, GPTBot bloquer. La pertinence stratégique de cette décision dépend de ton site web, de ton contenu et de ta tolérance au risque. Mais au moins, c'est une décision claire.

Ce qu’il faut éviter : bloquer d’un seul coup tous les agents utilisateur OpenAI, puis se demander pourquoi votre expertise publique n’apparaît pas dans ChatGPT Search. On ne peut pas dire à la fois „ S’il te plaît, trouve-moi “ et „ S’il te plaît, ne me sélectionne jamais “, tout en s’attendant à obtenir une visibilité fiable.

Claude, Perplexity et d'autres robots d'exploration basés sur l'IA

Anthropic décrit également plusieurs bots pour Claude : ClaudeBot pour l'entraînement ou l'amélioration des modèles, Claude-SearchBot pour la qualité de la recherche et Utilisateur Claude pour les requêtes déclenchées par les utilisateurs. Selon Anthropic, le blocage de Claude-SearchBot peut réduire la visibilité et la précision des résultats de recherche de Claude. En revanche, le blocage de ClaudeBot indique que les contenus futurs ne doivent pas être inclus dans les ensembles de données d'entraînement.

Perplexity sépare PerplexityBot pour Search et Utilisateur de Perplexity pour les actions des utilisateurs. De plus, Perplexity souligne que les règles WAF ne devraient pas se contenter de vérifier aveuglément les chaînes « User-Agent », mais devraient idéalement prendre en compte également les plages d'adresses IP officielles. C'est un détail, mais un détail important : n'importe qui peut se faire passer pour un autre via une chaîne « User-Agent ». Pour un contrôle sérieux des bots, de jolis noms dans le journal ne suffisent pas.

Et puis il existe bien d’autres types de requêtes : outils de référencement, services de surveillance, robots de prévisualisation, robots sociaux, scanners de sécurité, scrapers frauduleux, robots d’indexation internes, vérifications d’hébergement. Tous les robots dont le nom comporte „ IA “ ne revêtent pas une importance stratégique. Tous les bots inconnus ne sont pas inoffensifs. Il ne s'agit donc pas d'apprendre par cœur une liste gigantesque, mais de formuler clairement ses propres objectifs.

Des signaux de contenu plutôt qu'un blocage réflexe

La visibilité IA ne se résume pas à déterminer qui est autorisé à effectuer un crawl. Il s'agit également de savoir ce qu'un système trouve lorsqu'il effectue une exploration. Un site web peut être techniquement accessible tout en restant difficile à comprendre. Il est alors comparable à un magasin dont la porte est ouverte, mais qui n'a ni enseigne, ni étiquettes de prix, ni éclairage. Très librement accessible, mais très peu utile.

Dans son guide consacré à la recherche générative basée sur l'IA, Google précise que les principes fondamentaux du référencement naturel (SEO) restent d'actualité : il s'agit de proposer un contenu utile, unique et bien structuré, qui ne se contente pas de recycler ce qui se trouve déjà partout. C'est précisément là que réside la clé. Les systèmes d'IA ont besoin non seulement d'un accès à l'information, mais aussi de signaux exploitables.

• Une structure claire de la page : Des titres évocateurs, des sous-titres pertinents, des paragraphes clairs.
• Entités propres : De qui s'agit-il : d'une personne, d'une organisation, d'une marque, d'un service ou d'un produit ?
• Citations : des réponses concrètes, des définitions claires, des données, des exemples et des limites.
• Actualité : des dates de publication et de modification clairement indiquées, des contenus régulièrement mis à jour, pas de guides « zombies » datant de 2018.
• Données de schéma : non pas comme une « magie du classement », mais comme un lien lisible par machine entre le contenu, l'auteur·e, l'organisation et le produit.
• Fichiers Sitemap : afin que les contenus importants restent accessibles et ne se perdent pas dans les méandres des archives.
• Liens internes : Les clusters, les piliers, la FAQ, les pages produits et les guides doivent se compléter mutuellement.
• Versions lisibles par machine : llms.txt, le Markdown ou d'autres formats simplifiés peuvent fournir du contexte. Ils ne remplacent toutefois pas une politique d'accès.

C'est aussi le lien avec l'article précédent sur Schéma, entités et contenus citables. Si un robot est autorisé à explorer un site mais ne trouve que des signaux contradictoires, cela ne sert pas à grand-chose. S'il est autorisé à explorer le site et y trouve des signaux clairs, cet accès devient au moins une opportunité exploitable.

Liste de contrôle WordPress

Pour les sites WordPress, je procéderais de manière pragmatique comme suit :

1. Préciser les objectifs publics : Quels contenus doivent être accessibles sur Google, ChatGPT Search, Claude, Perplexity et d'autres systèmes de réponse ?
2. Protéger efficacement vos contenus privés : Les données clients, les documents internes, les environnements de staging et les fichiers à télécharger non validés doivent être protégés par un identifiant ou un mot de passe, et pas seulement par le fichier robots.txt.
3. Décider séparément de l'entraînement : Souhaitez-vous autoriser, bloquer ou appliquer un traitement différencié aux robots d'apprentissage ?
4. Ne bloquez pas les robots d'indexation par inadvertance : Si AI Search est une cible, vérifie si des robots de recherche tels que OAI-SearchBot, Claude-SearchBot ou PerplexityBot sont joignables.
5. Ne pas endommager Googlebot : Ne bloquez pas systématiquement Googlebot si une visibilité normale sur Google est importante.
6. Ne pas bloquer inutilement les fichiers CSS, JavaScript et les images : Si une page devient difficile à comprendre en l'absence de ressources, tu compliques également son indexation par les moteurs de recherche.
7. noindex utiliser de manière ciblée : Il vaut mieux mettre correctement en « noindex » les archives de tags, les pages de recherche peu riches, les pages de remerciement internes et les contenus en double, plutôt que de les masquer à moitié via le fichier robots.txt.
8. Vérifier les plans de site : Les articles, pages, produits, catégories et médias importants sont-ils bien inclus ? Les éléments non essentiels ont-ils été exclus ?
9. Vérifier le schéma : Existe-t-il plusieurs plugins de référencement, plugins de boutique en ligne ou plugins d'IA qui génèrent des graphes JSON-LD concurrents ?
10. Surveiller les journaux : Quels sont les bots qui parviennent réellement à passer ? Lesquels sont bloqués par le pare-feu, le cache, un plugin de sécurité ou les règles de l'hébergeur ?
11. llms.txt et Markdown : Utilise-la comme couche de contexte et d'orientation, et non comme outil de gestion des droits.
12. Consigner les modifications : Les règles du fichier robots.txt peuvent avoir une incidence sur la visibilité. C'est pourquoi elles doivent figurer dans un journal des modifications, et non pas résulter d'une décision prise sur un coup de tête un vendredi soir.

Un exemple pertinent de fichier robots.txt

Il ne s'agit pas ici d'un modèle universel à copier, mais d'un exemple de réflexion. Pour de nombreux sites web publics consacrés aux conseils, aux services ou aux produits, une structure nuancée peut s'avérer plus pertinente que les options „ tout afficher “ ou „ tout masquer “.

User-agent : *
Disallow : /wp-admin/
Allow : /wp-admin/admin-ajax.php

User-agent : GPTBot
Disallow : /

User-agent : ClaudeBot
Disallow : /

User-agent : Google-Extended
Disallow : /

User-agent : OAI-SearchBot
Allow : /

User-agent : Claude-SearchBot
Allow : /

User-agent : PerplexityBot
Allow : /

Sitemap : https://example.com/sitemap_index.xml

Ce qu'illustre cet exemple : les robots d'exploration classiques et les robots de recherche sont autorisés à trouver les contenus publics. Les jetons d'entraînement font l'objet d'un traitement plus restrictif. La pertinence de cette approche pour votre site web dépend du type de contenu que vous publiez. Une photographe, un éditeur spécialisé dans le droit, un fournisseur de SaaS, une boutique WooCommerce et une entreprise artisanale locale n'ont pas automatiquement la même politique en matière de robots.

Il est également important de noter que certains fournisseurs font la distinction entre l'exploration automatique et les requêtes déclenchées par les utilisateurs. C'est précisément pour cette raison que le fichier robots.txt n'est pas le seul niveau de contrôle. Les règles WAF, la vérification des adresses IP, la protection par identifiant, les questions relatives au consentement et à la protection des données, les journaux de serveur et la stratégie de contenu doivent également être pris en compte.

Ce que je pense de citelayer®

D'après mon Audit de visibilité citelayer® AIDu point de vue de robots.txt, ce n'est qu'une partie du diagnostic. Je ne veux pas seulement savoir si un robot est théoriquement autorisé à accéder au site. Je veux savoir ce qui se passe concrètement : les robots pertinents parviennent-ils jusqu’au site ? Sont-ils bloqués par des règles de pare-feu ? Voient-ils les bons contenus ? Le plan du site, le schéma, les balises canoniques, les liens internes, le fichier llms.txt et le contenu visible sont-ils cohérents entre eux ?

Avec WordPress en particulier, je ne constate souvent pas un seul gros problème, mais plutôt de nombreuses petites incohérences : le plugin SEO dit A, le plugin de boutique en ligne dit B, le plugin de sécurité bloque C, le cache fournit D, et le fichier robots.txt contient encore une ancienne entrée datant d’une migration oubliée depuis longtemps. Ce n’est pas spectaculaire. Mais c’est malheureusement exactement le genre de désordre qui fait échouer la classification automatique.

citelayer® pour WordPress comble précisément cette lacune entre un plugin SEO classique et AI Visibility : des couches contextuelles lisibles par les machines, le fichier llms.txt, le contexte Schema, les signaux des bots et une meilleure base pour les audits. Mais là encore, un plugin peut fournir une structure. La décision stratégique concernant les contenus qui doivent être visibles, citables, protégés ou exclus de l'entraînement relève de la rédaction et de la direction de l'entreprise.

FAQ

Dois-je bloquer tous les robots d'indexation basés sur l'IA ?

Ce n'est pas une règle générale. Si tu souhaites être visible dans AI Search, tu ne dois pas bloquer systématiquement les robots d'indexation. Tu peux évaluer séparément les robots d'entraînement. Quoi qu'il en soit, les contenus privés doivent être soumis à un véritable contrôle d'accès.

Le fichier robots.txt a-t-il une valeur juridique contraignante ?

Le fichier robots.txt est une norme technique ou une convention régissant le comportement des robots d'indexation ; il ne s'agit ni d'un coffre-fort ni d'un conseil juridique. Les robots d'indexation sérieux respectent ces règles. D'autres peuvent les ignorer. Si des questions juridiques se posent, tu dois en outre faire appel à un avis juridique et mettre en place de véritables mesures de protection techniques.

Quelle est la différence entre GPTBot et OAI-SearchBot ?

OpenAI décrit GPTBot comme un robot d'indexation destiné à collecter des contenus pouvant être utilisés pour l'entraînement de modèles de base génératifs. OAI-SearchBot, quant à lui, est conçu pour ChatGPT Search. Tu peux donc, en théorie, autoriser la recherche tout en bloquant l'entraînement.

Google Extended a-t-il une incidence sur mon classement Google ?

D'après Google, non. Selon la documentation de Google, Google Extended n'influence ni l'indexation dans Google Search ni le classement dans Google Search. Il détermine si les contenus explorés par Google peuvent être utilisés pour certaines applications Gemini et Vertex AI.

Le fichier llms.txt remplace-t-il mon fichier robots.txt ?

Non. Le fichier robots.txt définit les règles d'exploration. Le fichier llms.txt sert de couche d'orientation pour les systèmes d'IA et les agents : pages importantes, contexte, résumés, points d'entrée lisibles par machine. L'un indique plutôt „ où as-tu le droit d'aller ? “, tandis que l'autre indique plutôt „ voici ce qui est important ici “.

Pourquoi devrais-je vérifier les journaux des bots ?

Car le fichier robots.txt ne fait qu'indiquer votre intention. Les journaux d'accès montrent ce qui se passe réellement : quels robots visitent le site, quelles URL consultent-ils, quels codes d'état reçoivent-ils, quelles règles de pare-feu s'appliquent et quels contenus importants ne sont jamais accessibles.

Sources et vérification

• Google Search Central : Introduction au fichier robots.txt et les limites du fichier robots.txt.
• Infrastructure d'exploration de Google : Les robots d'indexation courants de Google, notamment Googlebot, Google-CloudVertexBot et Google-Extended.
• Google Search Central : Optimisation pour les fonctionnalités d'IA générative sur Google Search.
• OpenAI : Présentation des robots d'indexation d'OpenAI avec OAI-SearchBot, GPTBot et ChatGPT-User.
• Centre d'aide d'Anthropic : Anthropic collecte-t-il des données sur le Web ? avec ClaudeBot, Claude-SearchBot et Claude-User.
• Documentation Perplexity : Perplexity Crawlers avec PerplexityBot et Perplexity-User.
• Pratique interne d'audit et de plugins citelayer® : schémas récurrents issus des audits WordPress, de l'analyse des journaux de bots, de la compatibilité Schema/llms.txt et des tests de visibilité IA. Ces observations sont utilisées dans l'article à titre d'analyse pratique, et non comme source primaire externe.