STATUS IS UPPRÉPARATION DES SITES WEB
Français
Espace propriétaire
Explorer SIU

Vérification de préparation · Axe Activer · pondération 5

robots.txt publié

/robots.txt renvoie un fichier en texte brut.

Observé sur
79%

sur 175,171 sites mesurés

Sites du top 1K
76%

240 mesurés

Tranche du top 1M
81%

90,782 mesurés

Non mesuré
10,885

bloqué, soumis à un défi de validation ou non applicable

Pourquoi c’est important

robots.txt est le premier endroit où les robots d’exploration recherchent les règles d’exploration et les emplacements des sitemaps. En son absence, ils supposent que tout est accessible.

Comment apporter la correction

Publiez /robots.txt avec les règles d’exploration dont vous avez besoin et une ligne Sitemap: pointant vers votre sitemap XML.

Notre méthode de contrôle

/robots.txt renvoie un fichier en texte brut.

Observé : robots.txt trouvé.

Non observé : Aucun robots.txt trouvé.

Limite : seul l’emplacement standard a été interrogé, une seule fois, au moment de la vérification.

Par tranche de popularité

Tranche Chrome UX ReportObservéMesuré
1 000 premiers76%240
5 000 premiers75%1,628
10 000 premiers75%2,419
50 000 premiers74%17,917
100 000 premiers76%15,669
500 000 premiers78%46,516
1 million de premiers81%90,782

Catégories les plus susceptibles de le faire

Catégories les moins susceptibles de le faire

Par pile technologique

Par fournisseur

Sites populaires sur lesquels nous avons observé ce comportement

Sources et guides

Guide : Guide robots.txt : contrôler le crawl sans masquer les erreursVérifiez votre propre site