Googlebot reste de loin le premier robot d’indexation et d’IA à parcourir les sites français en 2026. D’après les données de Cloudflare et SEOmator publiées ce mois-ci, il représente 63,6 % du trafic des bots IA dans l’Hexagone, devançant largement ClaudeBot (7,8 %) et GPTBot (dans la queue du peloton). À l’échelle mondiale, Googlebot pèse 38,7 % des requêtes de crawlers IA, suivi de GPTBot (12,8 %), Meta-ExternalAgent (11,6 %) et ClaudeBot (11,4 %).
Un crawler qui s’arrête à 2 Mo par page
Google Search Central a détaillé le 31 mars 2026 les limites techniques de Googlebot. Pour toute URL hors PDF, le robot télécharge uniquement les 2 premiers Mo de contenu , en-têtes HTTP inclus. Au-delà de ce seuil, les octets restants sont purement et simplement ignorés : ni téléchargés, ni rendus, ni indexés. Pour les PDF, la limite monte à 64 Mo. Les autres crawlers de Google (images, vidéos) appliquent des plafonds variables selon le produit, avec une limite par défaut de 15 Mo pour ceux sans seuil spécifique.
Concrètement, si votre page HTML dépasse 2 Mo, seule la partie initiale sera analysée. Google indexe cette portion comme si elle constituait la page complète. Les sites qui chargent beaucoup de JavaScript après le rendu initial doivent savoir que Googlebot fonctionne en deux passes : il récupère d’abord le HTML brut, puis met la page en file d’attente pour un rendu différé dans un Chromium headless. Ce second passage intervient souvent plusieurs heures ou jours plus tard. Les contenus qui n’apparaissent qu’après hydratation côté client sont donc indexés avec retard.
L’entraînement recule, la recherche en temps réel décolle
Le paysage des bots IA se réorganise. En mai 2026, 51,8 % du trafic de crawlers IA était consacré à l’entraînement de modèles (GPTBot, ClaudeBot, Meta-ExternalAgent), un chiffre qui stagne depuis plusieurs mois. En parallèle, le crawling pour la recherche en direct , qui récupère des pages en temps réel pour répondre à une requête utilisateur , a bondi à 9,6 %, porté par Claude-SearchBot (2,4 % du trafic total en mai) qui est devenu le premier crawler de recherche IA dédié, devant OAI-SearchBot qui a reculé sous la barre de 1 %.
La différence : un bot d’entraînement aspire du contenu pour améliorer le modèle, tandis qu’un bot de recherche vient chercher une réponse précise pour un utilisateur donné et peut générer du trafic de retour vers votre site. ByteDance (Bytespider) a enregistré la plus forte hausse en mai 2026, passant de 6,5 % à 10,5 % du trafic IA en un mois (+61 %), tandis qu’Applebot a chuté de 9,1 % à 7 % (-22 %). Googlebot, lui, a perdu 2,5 points entre avril et mai, glissant de 29,6 % à 27,1 %.
Un robot difficile à bloquer pour les éditeurs
GPTBot reste le crawler le plus bloqué via robots.txt : il apparaît dans 5,52 % des règles DISALLOW au premier trimestre 2026, selon TechnologyChecker.io, devant CCBot (5,08 %), ClaudeBot (4,88 %) et Google-Extended (4,44 %). Google-Extended est le crawler d’entraînement IA de Google, distinct de Googlebot. Or, si 79 % des éditeurs de presse bloquent au moins un bot d’entraînement IA, seuls 46 % bloquent Google-Extended.
Matthew Prince, PDG de Cloudflare, a lié cette réticence à la stratégie de Google : fusionner son crawler de recherche classique et ses outils IA sous un même user-agent. Bloquer Googlebot équivaut à disparaître de la recherche Google, un risque que peu d’éditeurs acceptent. Aux États-Unis, Googlebot représente 40,3 % du trafic IA et GPTBot 13,6 %. En Allemagne, Googlebot monte à 47,8 %, suivi de Bingbot (10,3 %). Aux Pays-Bas, il atteint 45,7 % et GPTBot 10,5 %. La domination de Googlebot en France (63,6 %) en fait le marché le plus concentré analysé par SEOmator.
Ce qu’en disent les experts IA
Inside Googlebot: demystifying crawling, fetching, and the bytes we process – https://t.co/hwk2IBibAv from @googlesearchc
— Screaming Frog (@screamingfrog) March 31, 2026
Les performances des outils IA mentionnés peuvent varier selon les usages et évoluent rapidement. Vérifiez les tarifs et conditions directement auprès des éditeurs.
