Quels sont les user agents utilisés par les outils de Google ?

Pré-requis : Savoir ce qu’est un user-agent + connaître les outils de Google.
Dernière mise à jour : novembre 2021

Objectif : Mieux comprendre le fonctionnement des outils Google à l’heure du Mobile-First.

Quels sont les “crawlers” utilisés par Google pour chacun de ses outils ?

Nous avons mis en place des tests nous permettant pour chaque outil de Google ayant été testé, de connaître quel est le crawler (ou user-agent) utilisé.

Pour aller directement aux résultats des différents outils vous pouvez cliquer sur un des liens ci-dessous :

Google Search Console
Test d’optimisation mobile (Mobile-friendly Test)
Outil de validation du balisage Schema
Test AMP
Test des résultats enrichis
PageSpeed Insights
Test My Site (Think with Google)

Avant-propos

Ce test SEO vous permettra de mieux comprendre le fonctionnement des outils de Google. Et pourquoi pas, exploiter ces informations pour le SEO de votre site. Nous avons utilisé des raccourcis pour remplacer les User agent strings :

Googlebot

“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”
Googlebot pour smartphone

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google-Structured-Data-Testing-Tool

“Mozilla/5.0 (compatible; Google-Structured-Data-Testing-Tool +https://search.google.com/structured-data/testing-tool)”
Chrome-Lighthouse

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Safari/537.36 Chrome-Lighthouse
Chrome-Lighthouse Mobile

Mozilla/5.0 (Linux; Android 7.0; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4590.2 Mobile Safari/537.36 Chrome-Lighthouse

Pour chaque outil, sont listés les user-agents utilisés. Sauf 1 cas particulier, si deux crawlers sont listés, cela signifie qu’à chaque “demande”, tous les crawlers listés seront envoyés. Par exemple, lorsqu’on demande une exploration par la Google Search Console : Googlebot ET Googlebot pour smartphone viendront crawler la page.