Google : mieux vaut bloquer les URL dites d’action pour l’exploration via robots.txt

par | 17 Juin 2024 | SEO

Google recommande de bloquer certaines URL déclenchant une action via le robots.txt afin de focaliser l’exploration sur les URL importantes.

Quiconque se soucie du budget d’exploration de son site web devrait tenir compte de ce conseil de Gary Illyes (Google) : Sur LinkedIn, il a conseillé de bloquer par robots.txt les URL qui déclenchent certaines actions. Il s’agit par exemple des URL qui permettent d’ajouter un produit au panier ou d’ajouter des produits à une liste de souhaits.

Illyes a écrit que l’on reprochait toujours à Google d’explorer trop de sites, ce qui exigeait trop de ressources du serveur web (même si cela ne causait aucun problème). Lors de l’examen des URL explorées par les sites de ceux dont proviennent les plaintes, il s’agit souvent d’URL d’action. Celles-ci seraient inutiles pour le crawler. Il faudrait donc ajouter des règles de disallow correspondantes au robots.txt ou passer à des POST-requests pour les actions correspondantes. Certains robots d’exploration peuvent toutefois traiter de telles requêtes.

gary illyes robots txt

Il peut être judicieux d’exclure l’exploration de ces URL, en particulier pour les grands sites comportant plusieurs milliers d’URL, afin de préserver les ressources de ses propres serveurs web et son budget de crawl.

 

0 commentaires

Soumettre un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Catégories

Podcasts

A Propos

Nous sommes une agence de Marketing Digital experts SEO, SEA, Amazon et Social Media. Retrouvez au sein de notre notre blog toutes les dernières informations concernant l’univers du marketing digital et nos astuces pour mener votre propre stratégie de Référencement Naturel, et Publicité Amazon, sur Google et les Réseaux Sociaux.

Les incontournables

Obtenir un bon backlink en SEO

Histoire des réseaux sociaux

Comment trouver un sitemap ?

Qu’est-ce que le CPC ?

Stratégie Google Ads

Budget Facebook Ads

Balise titre SEO

Pourquoi mon site n’apparait pas sur Google ?

Audience Google Ads

Tout savoir sur le cache Google

TOP 10 des extensions WordPress pour la vitesse de votre site

Quand poster sur Instagram ?

Badge de protection Google

Tout connaître sur le contenu dupliqué

Qu’est-ce que le SEO ?

ACos Amazon

Choisir son consultant Google Ads

Amazon Brand Registry

Comment créer des campagnes Performance Max ?

5 façons d’optimiser votre temps de chargement

Tout savoir sur le balise canonique

Intention de recherche en SEO

Comment savoir si un compte Instagram a de faux followers ?

Quand publier sur Facebook ?

Amazon Explore

Les mots en gras sont-ils importants pour le SEO ?

Les liens sortants sont-ils importants en SEO ?

Qu’est-ce IndexNow ?

Guide des campagnes Google Ads

Quand publier sur LinkedIn ?

Les choses à surveiller avant d’ajouter un disallow au robots.txt

Comment fonctionne un moteur de recherche ?

Qu’est-ce que AMP ?

Définition du PageRank

Contenu caché et SEO

Les défis du SEO

Google Ads : clics vs. impressions

Que veut dire hashtag ?

Comment devenir un vendeur rentable sur Amazon ?

Qu’est-ce que Google Discover ?

Quand publier sur Twitter ?

Définition de l’E-E-A-T

Yandex n’est pas le moteur de recherche numéro 1 en Russie

Amazon Seller Central vs. Vendor Central

Conseils Google Performance Max

Amazon Vine

Créer une fiche d’établissement Google

Générateur de balises Schema

Expression exacte en Google Ads

Comment calculer un taux de conversion ?

Le negative SEO

Redirection 301 vs. 302

Tout savoir le nofollow

Comment obtenir le badge Instagram ?

Le nombre de mots est-il important en SEO ?

Comment connaître le nombre de pages d’un site ?

Les meilleurs outils SEO

Les facteurs de ranking de Yandex