STATUS IS UPWEBSITEGEREEDHEID
Nederlands
Werkruimte eigenaar
Ontdek SIU

Gereedheidscheck · Onderdeel Inschakelen · gewicht 5

robots.txt gepubliceerd

/robots.txt retourneert een bestand met platte tekst.

Waargenomen op
79%

van 175,171 gemeten sites

Top 1K-sites
76%

240 gemeten

Top 1M-groep
81%

90,782 gemeten

Niet gemeten
10,885

geblokkeerd, onderworpen aan een verificatievraag of niet van toepassing

Waarom dit belangrijk is

robots.txt is de eerste plek waar crawlers zoeken naar crawlregels en sitemaplocaties. Zonder dit bestand gaan ze ervan uit dat alles toegankelijk is.

Hoe u dit oplost

Publiceer /robots.txt met de crawlregels die je nodig hebt en een Sitemap:-regel die naar je XML-sitemap verwijst.

Hoe we controleren

/robots.txt retourneert een bestand met platte tekst.

Waargenomen: robots.txt gevonden.

Niet waargenomen: Geen robots.txt gevonden.

Beperking: Alleen de standaardlocatie is opgevraagd, eenmalig, op het moment van de controle.

Per populariteitsklasse

Chrome UX Report-bandWaargenomenGemeten
Top 1K76%240
Top 5K75%1,628
Top 10K75%2,419
Top 50K74%17,917
Top 100K76%15,669
Top 500K78%46,516
Top 1M81%90,782

Categorieën waarin dit het vaakst voorkomt

Categorieën waarin dit het minst vaak voorkomt

Per stack

Per provider

Populaire sites waarop we dit hebben waargenomen

Bronnen en handleidingen

Handleiding: Robots.txt-gids: Beheer crawling zonder fouten te verbergenControleer uw eigen site