Google : mieux vaut bloquer les URL dites d’action pour l’exploration via robots.txt

Google recommande de bloquer certaines URL déclenchant une action via le robots.txt afin de focaliser l’exploration sur les URL importantes.

Quiconque se soucie du budget d’exploration de son site web devrait tenir compte de ce conseil de Gary Illyes (Google) : Sur LinkedIn, il a conseillé de bloquer par robots.txt les URL qui déclenchent certaines actions. Il s’agit par exemple des URL qui permettent d’ajouter un produit au panier ou d’ajouter des produits à une liste de souhaits.

Illyes a écrit que l’on reprochait toujours à Google d’explorer trop de sites, ce qui exigeait trop de ressources du serveur web (même si cela ne causait aucun problème). Lors de l’examen des URL explorées par les sites de ceux dont proviennent les plaintes, il s’agit souvent d’URL d’action. Celles-ci seraient inutiles pour le crawler. Il faudrait donc ajouter des règles de disallow correspondantes au robots.txt ou passer à des POST-requests pour les actions correspondantes. Certains robots d’exploration peuvent toutefois traiter de telles requêtes.

Il peut être judicieux d’exclure l’exploration de ces URL, en particulier pour les grands sites comportant plusieurs milliers d’URL, afin de préserver les ressources de ses propres serveurs web et son budget de crawl.