Robots d'IA
faut-il les bloquer ?

Sur notre propre site, nous autorisons l'ensemble de ces robots : nous vendons de la visibilité, y compris dans les IA, et nos pages publiques n'ont rien à cacher. Notre fichier est consultable à l'adresse bapst-technologies.com/robots.txt ; il sert d'exemple commenté plus bas.

Deux familles de robots : entraînement et recherche

• Les robots d'entraînement collectent des pages pour constituer les données d'entraînement des futurs modèles. Leur effet est lointain et diffus : ce que le modèle « saura » dans quelques mois.
• Les robots de recherche explorent le web pour alimenter les réponses en temps réel, avec citations. C'est le mécanisme de récupération qui permet à une IA de citer une page — le RAG.
• Les agents déclenchés par un utilisateur visitent une page parce qu'une personne a demandé à l'assistant de la consulter. Leurs règles peuvent différer de celles des robots automatiques : la documentation de chaque éditeur le précise.

Qui fait quoi

Sources : les pages officielles d'OpenAI, d'Anthropic, de Perplexity, de Google et de Common Crawl. Les noms évoluent : d'anciens agents disparaissent, de nouveaux apparaissent — un robots.txt se relit au moins une fois par an.

Ce que coûte un blocage

• Bloquer un robot de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) : votre site ne peut plus servir de source à ces réponses. Pour une entreprise qui cherche des clients, c'est se retirer d'un canal qui grandit.
• Bloquer un robot d'entraînement (GPTBot, ClaudeBot, CCBot) : vos pages ne nourriront plus les futurs modèles. Pour un éditeur qui vend son contenu, c'est une protection légitime ; pour un artisan ou une TPE, l'intérêt est faible et l'entreprise risque d'être moins bien « connue » des modèles.
• Utiliser Google-Extended : aucun effet sur la recherche Google, précise Google — ni sur l'inclusion, ni sur le classement.
• Bloquer Googlebot : vous disparaissez de Google, aperçus IA compris. Ne jamais le faire pour « se protéger des IA ».

Le réglage que nous recommandons à une entreprise

Pour une entreprise qui veut être trouvée et recommandée, notre recommandation est simple : tout autoriser sur les pages publiques, protéger les zones techniques pour tous les robots, et documenter les choix dans le fichier. Voici l'essentiel du nôtre :

# Tout est ouvert, sauf le script d'envoi des formulaires.
User-agent: *
Allow: /
Disallow: /send-mail.php

# Robots d'IA : recherche, visites utilisateurs et entraînement autorisés.
# Un groupe dédié remplace le groupe « * » pour ces robots :
# les exclusions doivent donc y être répétées.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Allow: /
Disallow: /send-mail.php

Sitemap: https://bapst-technologies.com/sitemap.xml

Le détail qui piège souvent : selon le standard du robots.txt, un robot applique uniquement le groupe qui le désigne le plus précisément. Si vous créez un groupe pour GPTBot sans y recopier vos interdictions, GPTBot ne les voit plus. D'où la répétition de la ligne Disallow.

Vous vendez du contenu, des formations ou des données ? Remplacez simplement Allow: / par Disallow: / dans un groupe réservé à GPTBot, ClaudeBot, CCBot et Google-Extended, tout en laissant ouverts les robots de recherche. Les bases du fichier sont dans la documentation Google sur le robots.txt et dans la définition du lexique.

Vérifier que les robots passent vraiment

1. Relisez votre robots.txt en entier. Un vieux Disallow: / hérité d'une mise en ligne ou d'un ancien prestataire suffit à tout fermer.
2. Vérifiez votre hébergeur et votre CDN. Des services comme Cloudflare proposent — et activent parfois par défaut — le blocage des robots d'IA : le réglage se fait dans leur interface, pas dans le robots.txt.
3. Consultez les journaux du serveur. L'analyse de logs montre quels robots viennent, sur quelles pages, et avec quelle réponse du serveur.
4. Mesurez les visites venues des IA. Le trafic référent depuis chatgpt.com ou perplexity.ai apparaît dans vos statistiques : c'est la preuve que la porte est ouverte et que vous êtes cité.

Le robots.txt n'est pas un mur

Le robots.txt est une convention : les robots des grands éditeurs déclarent la respecter, mais rien ne l'impose techniquement, et des cas de robots non déclarés ont été documentés. Pour protéger réellement un contenu, il faut une authentification ou un blocage côté serveur. À l'inverse, pour être lu, il faut plus qu'une porte ouverte : des pages explorables, rapides, sans dépendance au JavaScript, et des contenus qui méritent d'être cités.

C'est tout l'objet du référencement IA, que nous construisons par-dessus le socle de notre agence SEO dans l'Ain — à Bourg-en-Bresse, Montluel ou à distance. Et pour présenter votre site aux outils d'IA une fois la porte ouverte, voir notre guide sur le fichier llms.txt.

Questions fréquentes

Bloquer GPTBot retire-t-il mon site de ChatGPT ?
Pas de la recherche de ChatGPT. OpenAI distingue GPTBot, utilisé pour l'entraînement de ses modèles, et OAI-SearchBot, utilisé pour faire apparaître des sites dans les résultats de recherche de ChatGPT. On peut bloquer le premier et autoriser le second.

Google-Extended a-t-il un effet sur mon référencement Google ?
Non. D'après la documentation de Google, Google-Extended permet seulement de refuser que le contenu serve à entraîner les modèles Gemini et à ancrer les réponses des applications Gemini et de Vertex AI. Il n'a aucun effet sur l'inclusion ni sur le classement dans la recherche Google.

Mon site peut-il bloquer les IA sans que je le sache ?
Oui. Un robots.txt hérité d'un ancien prestataire, un pare-feu applicatif ou un service comme Cloudflare peuvent bloquer des robots d'IA. Vérifiez le robots.txt, les réglages de protection contre les robots de votre hébergeur ou de votre CDN, et les journaux du serveur.

Faut-il un fichier llms.txt en plus du robots.txt ?
Ce n'est pas indispensable. Le robots.txt décide qui peut lire le site ; llms.txt, qui n'est qu'une proposition de standard, présente le site aux outils qui le consultent. C'est une finition peu coûteuse, à poser après les fondations.

À lire aussi : le fichier llms.txt, le référencement IA (GEO), « détectée, actuellement non indexée » et le lexique SEO & GEO. Nouveaux guides : la visibilité IA et le robots.txt.