llms.txt, GPTBot, ClaudeBot : le guide d'hygiène des crawlers IA pour les petits sites

Si vous gérez un petit site, il y a de bonnes chances que votre robots.txt n'ait pas été touché depuis que vous avez ajouté une seule règle pour GPTBot en 2023 — ou que vous ne l'ayez jamais touché. Cet écart compte plus qu'avant. Mi-2025, les données réseau de Cloudflare ont montré que le crawl lié à l'entraînement avait atteint près de 80 % de toute l'activité des bots IA, contre 72 % un an plus tôt.^[3] Les crawlers IA représentent désormais une part notable de ceux qui frappent à la porte de votre serveur chaque jour, et les règles que vous leur donnez décident de deux choses très différentes : si votre contenu entraîne gratuitement le modèle d'un autre, et si vous apparaissez quand un acheteur pose une question à ChatGPT ou Perplexity.

Ce qui rend 2026 véritablement différent, c'est que les grands fournisseurs d'IA ont scindé leur crawler unique en plusieurs. OpenAI n'opère plus un seul bot — il opère GPTBot pour l'entraînement, OAI-SearchBot pour ChatGPT Search et ChatGPT-User pour les récupérations à la demande. Anthropic en opère trois. Conséquence pratique : le réflexe de Disallow: / pour chaque user-agent IA fait désormais deux choses à la fois. Il vous sort des corpus d'entraînement (souvent ce que vous vouliez) et vous efface des réponses de recherche IA (presque jamais ce que vous vouliez). L'analyse par Digital Applied du cadre d'Anthropic rapporte qu'environ 71 % des grands éditeurs de presse bloquent au moins un bot de récupération ou de recherche, souvent en croyant ne bloquer que l'entraînement.^[5] C'est exactement l'erreur coûteuse que ce guide vise à éviter.

llms.txt est un fichier Markdown proposé par la communauté que vous placez à la racine de votre domaine (/llms.txt) et qui liste vos pages les plus importantes sous une forme propre et analysable, pour qu'un grand modèle de langage trouve et comprenne votre meilleur contenu sans traverser la navigation, les pubs et les scripts. Il a été proposé par Jeremy Howard, d'Answer.AI, en septembre 2024. L'analogie habituelle est « un sitemap pour LLM », et l'intention est réellement sensée : donner aux modèles une carte curée et peu bruitée de ce qui compte sur votre site, éventuellement avec un /llms-full.txt plus complet qui intègre le contenu réel.

Le problème est l'écart entre l'idée et les preuves. Après dix-huit mois de discussion dans le secteur, les données dégrisent :

• L'adoption est d'environ un site sur dix. L'étude de SE Ranking sur 300 000 domaines a trouvé un taux d'adoption de 10,13 %, et, point crucial, l'adoption était quasi identique sur les niveaux de trafic faible, moyen et élevé (~9–10 % chacun) — ce ne sont donc pas les sites sophistiqués qui filent devant.^[1]
• Aucun gain mesurable de citations. La même analyse de SE Ranking n'a trouvé aucune différence statistiquement significative dans la fréquence des citations IA entre les sites avec et sans llms.txt. Un modèle entraîné sur les données de citations IA s'est même amélioré quand la variable llms.txt a été retirée.^[1]
• Presque rien ne le lit. Limy.AI a surveillé plus de 500 millions d'événements de bots IA sur 90 jours et n'a trouvé que 408 requêtes visant llms.txt directement.^[14] Search Engine Land a suivi 10 sites 90 jours avant et après l'ajout du fichier ; seuls deux ont vu une hausse du trafic IA, et pas à cause du fichier.^[2]
• Aucun soutien officiel. Mi-2026, ni OpenAI, ni Anthropic, ni Google, ni Perplexity n'ont officiellement confirmé que leurs systèmes lisent ou exploitent llms.txt. Cela reste une spécification communautaire, pas un standard adopté.

La conclusion n'est pas « llms.txt est inutile » — c'est que les deux fichiers ne sont pas interchangeables, et que celui qui change vraiment les résultats aujourd'hui est le vieux fichier ennuyeux. Si en 2026 vous n'avez le temps de bien faire qu'un seul fichier, que ce soit robots.txt, avec des règles qui reflètent le paysage actuel des crawlers IA et non la version de 2023.

Avant d'écrire une règle sensée, il faut savoir à quoi sert chaque bot. Chaque crawler IA fait l'un de trois travaux : il collecte des pages pour entraîner des modèles, il indexe des pages pour les réponses de recherche IA, ou il récupère une page en temps réel parce qu'un utilisateur a interrogé l'assistant à son sujet à l'instant. Ce sont des relations commerciales distinctes, et en 2026 les grands fournisseurs les exposent enfin comme des bots distincts que vous pouvez contrôler indépendamment.

Deux lignes méritent une seconde lecture. Google-Extended n'est pas un vrai crawler — c'est un jeton de contrôle qui n'apparaît jamais dans vos logs serveur comme une requête HTTP. Il régit seulement si Google peut utiliser des pages qu'il a déjà crawlées (avec le Googlebot normal) pour entraîner Gemini et Vertex AI. Et Bytespider (ByteDance) a un historique documenté d'ignorer robots.txt de façon inconstante, raison pour laquelle le bloquer nécessite une règle de pare-feu ou au niveau IP plutôt qu'un poli Disallow.

L'argument économique pour bloquer les crawlers d'entraînement se résume à un seul ratio : combien de vos pages un bot crawle pour chaque visiteur qu'il vous renvoie. Cloudflare publie ce ratio crawl-to-referral sur son réseau, et l'écart entre fournisseurs est extraordinaire. Le Googlebot traditionnel tourne autour de 5 pages crawlées par referral. Le ClaudeBot d'Anthropic, à son pic de juin 2025, crawlait environ 70 900 pages pour chaque visiteur qu'il renvoyait — une asymétrie qui redéfinit l'accès d'entraînement comme une extraction de valeur à sens unique.^[5]

Mais il y a un piège qui empêche « bloquez simplement les bots d'entraînement » d'être gratuit, et c'est la nuance la plus importante de tout cet article. Le blocage a des effets secondaires sur les citations. L'analyse d'AuthorityTech de 2026 a trouvé que les sites qui bloquent Google-Extended sont bien moins susceptibles d'être cités par les moteurs génératifs — même dans les AI Overviews, où Google conserve techniquement l'accès au contenu via l'index normal.^[11] Et les données de ppc.land montrent que le blocage est poreux dans l'autre sens aussi : bloquer les crawlers IA n'arrête pas de façon fiable les citations, car les moteurs puisent dans des chemins alternatifs, des citations tierces et des copies en cache.^[10] Vous pouvez perdre l'avantage de visibilité sans gagner pleinement la confidentialité pour laquelle vous avez bloqué.

De l'autre côté de la balance se trouve le dommage de trafic qui pousse les gens à bloquer en premier lieu. Les AI Overviews de Google ont mesurablement réduit le trafic de référence : Digital Content Next rapporte des baisses de trafic de 1–25 % pour les membres, avec une moyenne d'environ 25 %, et les taux de clic chutent de 34,5 % à 79 % quand un AI Overview apparaît, selon le type de requête.^[8] Les éditeurs interrogés par ppc.land anticipent une baisse de trafic supplémentaire de 43 % sur les trois prochaines années.^[10] Quand l'IA prend votre trafic tout en vous crawlant 70 000 contre 1, l'envie de relever le pont-levis est compréhensible.

Pendant deux ans, la question la plus posée sur les crawlers IA était une version de : « Comment apparaître dans la recherche Google normale mais pas dans les AI Overviews ? ». Jusqu'en juin 2026, la réponse honnête était « vous ne pouvez pas ». Google-Extended — le jeton vers lequel la plupart se tournaient — ne contrôle que si Google entraîne Gemini et Vertex AI sur vos pages déjà crawlées. Il n'a jamais contrôlé les AI Overviews ni l'AI Mode, qui puisent dans l'index standard de Googlebot. Bloquer Google-Extended ne faisait rien pour vous tenir hors des résumés IA qui mangeaient réellement vos clics.^[8]

Cela a changé le 3 juin 2026, quand Google a lancé un rapport de performance IA dans Search Console accompagné d'un bouton d'opt-out qui permet aux éditeurs de retirer du contenu des AI Overviews et de l'AI Mode sans perdre le classement de recherche standard.^[6] Le réglage prend effet le 17 juin 2026, quand Google commence à agir sur le signal, et l'activer n'affecte pas votre position dans les résultats Google normaux.^[7] Deux nuances à relire deux fois : l'application Gemini est exclue de cet opt-out (c'est un produit distinct), et choisir de sortir signifie accepter que disparaisse aussi la citation/visibilité que vous tiriez des AIO.

Il n'y a pas une seule configuration correcte — il y a une configuration correcte pour votre objectif. Voici les trois profils qui couvrent presque tous les petits sites, de « je veux être dans chaque réponse » à « tenez-moi hors de l'IA entièrement ».

Pour la plupart des petits sites, la recommandation honnête est le Profil 1 — tout autoriser. Votre objectif est la visibilité, le coût de bande passante du crawl IA est négligeable à petite échelle, et bloquer les crawlers d'entraînement comporte des effets secondaires sur les citations que vous ne pouvez pas entièrement prévoir. Le profil « bloquer l'entraînement, garder les citations » (Profil 2) est le bon réglage par défaut pour les sites de contenu, les éditeurs et quiconque publie de la recherche originale et refuse réellement l'extraction unilatérale. Le Profil 3 est réservé au contenu payant, sur abonnement ou juridiquement sensible.

Les règles écrites à l'aveugle sont des suppositions. Consacrez vingt minutes à regarder qui vous crawle réellement avant de changer une seule ligne, car le paysage des bots varie énormément selon la niche. Voici la pile de surveillance pratique, du moins cher au plus :

• Logs d'accès serveur / CDN. Filtrez par user-agent pour GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot et Bytespider. Cela vous indique la fréquence et les pages que chaque bot touche. Note : Google-Extended n'apparaîtra jamais — c'est un jeton, pas une requête.
• Cloudflare Radar AI Insights. Si vous êtes derrière Cloudflare, le tableau de bord gratuit AI Insights montre l'activité des crawlers IA et les données crawl-to-referral citées dans cet article.
• Google Search Console. Le nouveau rapport de performance IA (juin 2026) est l'endroit où vous verrez les impressions AI Overviews / AI Mode — et où se trouve le bouton d'opt-out.
• Vérifiez l'authenticité. Les user-agents falsifiés sont courants. Recoupez les accès suspects avec les plages d'IP publiées — OpenAI les liste sur openai.com/gptbot.json, openai.com/searchbot.json et openai.com/chatgpt-user.json.

→ Faites-le maintenant : Ouvrez https://votre-domaine.com/robots.txt dans un navigateur. S'il ne mentionne ni OAI-SearchBot ni Claude-SearchBot, il est dépassé — et vous êtes peut-être invisible aux produits de recherche IA mêmes qu'utilisent vos clients. Choisissez un profil dans le tableau ci-dessus, collez la configuration correspondante, et vous aurez fait plus d'hygiène des crawlers que l'immense majorité des petits sites en 2026.