Depuis 2023, tous les grands modèles d'IA ont déployé leurs propres crawlers web : GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Googlebot-Extended (Google AI), CCBot (Common Crawl)... Votre site est probablement crawlé par plusieurs d'entre eux en ce moment.
Faut-il les laisser passer ou les bloquer ? La réponse n'est pas binaire.
Les principaux crawlers IA à connaître
| Crawler | Entreprise | Utilisation |
|---|---|---|
| GPTBot | OpenAI | Entraînement ChatGPT + browsing |
| OAI-SearchBot | OpenAI | Recherche ChatGPT en temps réel |
| ClaudeBot | Anthropic | Entraînement Claude |
| PerplexityBot | Perplexity | Indexation temps réel |
| Googlebot-Extended | Google AI Overviews | |
| CCBot | Common Crawl | Données d'entraînement open-source |
| Applebot-Extended | Apple | Apple Intelligence |
| Bytespider | ByteDance | TikTok AI / Doubao |
Les raisons de bloquer
Protéger le contenu propriétaire
Si votre site contient du contenu exclusif (cours payants, données propriétaires, études originales), vous pouvez légitimement ne pas vouloir qu'il serve à entraîner des LLMs sans compensation.
Réduire la charge serveur
Certains crawlers IA sont agressifs. CCBot en particulier a été signalé pour des comportements de crawl intensif pouvant impacter les performances du serveur.
Contrôle idéologique
Certaines entreprises refusent par principe que leurs données servent à entraîner des IA sans accord de licence.
Les raisons de ne PAS bloquer
Perte de visibilité dans les moteurs génératifs
C'est l'argument le plus fort. Si vous bloquez GPTBot, votre contenu ne servira pas à l'entraînement de ChatGPT et sera moins bien connu de ce modèle. Si vous bloquez PerplexityBot, vous disparaissez des résultats Perplexity.
En 2026, être absent des moteurs IA est un désavantage concurrentiel réel.
Distinction entraînement vs recherche en temps réel
Il y a deux types d'usage des crawlers IA :
- Entraînement du modèle (GPTBot) → impact sur le modèle de base
- Recherche en temps réel (OAI-SearchBot, PerplexityBot) → impact sur les réponses actuelles
Bloquer les crawlers d'entraînement a peu d'effet immédiat sur votre visibilité dans les réponses actuelles. Bloquer les crawlers de recherche temps réel, en revanche, vous exclut directement des résultats.
La stratégie optimale selon votre situation
Si vous êtes un prestataire / agence / PME
Ne bloquez pas. Vous n'avez aucun intérêt à vous exclure des moteurs IA. Votre contenu marketing est fait pour être vu. Laissez tous les crawlers passer.
User-agent: *
Allow: /
Sitemap: https://votresite.com/sitemap.xmlSi vous avez du contenu payant / exclusif
Bloquez l'accès aux sections protégées, pas à tout le site.
User-agent: GPTBot
Disallow: /cours-premium/
Disallow: /espace-membres/
Allow: /
User-agent: *
Allow: /Si vous voulez contrôler précisément
Bloquez uniquement les crawlers dont vous ne voulez pas alimenter les modèles, laissez passer ceux liés aux moteurs de recherche IA temps réel.
# Bloquer entraînement CCBot (aggressif, open-source)
User-agent: CCBot
Disallow: /
# Autoriser tout le reste
User-agent: *
Allow: /Ce que dit la loi (EU AI Act)
Depuis le EU AI Act (2024), les entreprises d'IA ont l'obligation de respecter les instructions robots.txt pour les contenus soumis au droit d'auteur. Un robots.txt Disallow est donc juridiquement contraignant pour les acteurs régulés en Europe.
Cela dit, l'application pratique reste limitée et les recours sont complexes.
Vérifier quels crawlers visitent votre site
Dans vos logs serveur Apache/Nginx, cherchez les user-agents :
Mozilla/5.0 (compatible; GPTBot/1.0; +https://openai.com/gptbot)claudebotPerplexityBotGooglebot-Extended
Vous pouvez aussi utiliser Cloudflare Analytics ou votre outil de logs pour identifier les patterns de crawl.
FAQ
Bloquer GPTBot empêche-t-il d'apparaître dans ChatGPT ? Partiellement. Bloquer GPTBot évite que votre contenu serve à l'entraînement du modèle de base. Mais ChatGPT avec browsing utilise OAI-SearchBot pour les requêtes en temps réel. Il faut bloquer les deux pour disparaître complètement — ce qui est rarement une bonne idée.
Google respecte-t-il le robots.txt pour ses IA ? Googlebot-Extended respecte les instructions robots.txt. Google a aussi ajouté une option dans Search Console pour contrôler l'utilisation des données pour Bard/Gemini.
Quelle est la recommandation de MSD Media pour ses clients ? On recommande par défaut d'autoriser tous les crawlers IA. Pour les sites avec contenu premium, on configure des règles ciblées par section. Le but : maximiser la visibilité GEO tout en protégeant ce qui a une vraie valeur commerciale.