Pemeriksaan kesiapan · Jalur Aktifkan · bobot 5
robots.txt dipublikasikan
/robots.txt mengembalikan file teks biasa.
- Teramati pada
- 79%
- Situs 1K teratas
- 76%
- Kelompok 1M teratas
- 81%
- Tidak diukur
- 10,885
dari 175,171 situs yang diukur
240 diukur
90,782 diukur
diblokir, diminta melewati tantangan verifikasi, atau tidak berlaku
Mengapa ini penting
robots.txt adalah tempat pertama yang diperiksa perayap untuk mencari aturan perayapan dan lokasi peta situs. Tanpanya, perayap menganggap semuanya terbuka.
Cara memperbaikinya
Publikasikan /robots.txt dengan aturan perayapan yang Anda perlukan dan baris Sitemap: yang mengarah ke peta situs XML Anda.
Cara kami memeriksa
/robots.txt mengembalikan file teks biasa.
Teramati: robots.txt ditemukan.
Tidak teramati: robots.txt tidak ditemukan.
Batasan: Hanya lokasi standar yang diminta, satu kali, pada saat pemeriksaan.
Menurut kelompok popularitas
| Rentang Chrome UX Report | Teramati | Terukur |
|---|---|---|
| 1 Ribu Teratas | 76% | 240 |
| 5 Ribu Teratas | 75% | 1,628 |
| 10 Ribu Teratas | 75% | 2,419 |
| 50 Ribu Teratas | 74% | 17,917 |
| 100 Ribu Teratas | 76% | 15,669 |
| 500 Ribu Teratas | 78% | 46,516 |
| 1 Juta Teratas | 81% | 90,782 |
Kategori yang paling mungkin melakukan ini
Kategori yang paling kecil kemungkinannya
Menurut stack
- PrestaShop on Cloudflare>99%
- BigCommerce>99%
- WordPress on Fastly99%
- Drupal on Cloudflare98%
- Drupal on Fastly98%
- Next.js on Fastly98%
- Tilda98%
- Next.js on Netlify98%
- Wix98%
- PrestaShop97%
- WordPress on Cloudflare97%
- Sitecore on Azure Front Door/CDN97%
- Squarespace97%
- Drupal97%
- Magento / Adobe Commerce on Cloudflare97%
- Drupal on Amazon CloudFront97%
- Bitrix97%
- WordPress on Google edge96%
- WordPress on Vercel96%
- Drupal on Akamai96%
- Astro on Cloudflare96%
- WordPress96%
- Sitecore on Cloudflare96%
- Gatsby on Amazon CloudFront95%
- Shopify95%
- Adobe Experience Manager on Cloudflare95%
- WordPress on Amazon CloudFront95%
- HubSpot CMS95%
- Next.js on Akamai95%
- WordPress on Sucuri95%
- Adobe Experience Manager on Akamai94%
- Angular on Cloudflare94%
- Magento / Adobe Commerce94%
- Sitecore94%
- Next.js on Azure Front Door/CDN94%
- Adobe Experience Manager on Amazon CloudFront94%
- Adobe Experience Manager93%
- Next.js on Cloudflare93%
- Astro93%
- Angular on Amazon CloudFront92%
- Next.js on Amazon CloudFront92%
- Joomla91%
- Next.js on Vercel91%
- Next.js on Google edge91%
- Angular91%
- Webflow90%
- Next.js90%
- WordPress on Imperva89%
- Astro on Amazon CloudFront89%
- Nuxt on Google edge89%
- Nuxt on Cloudflare87%
- Blogger87%
- Gatsby86%
- Nuxt86%
- Nuxt on Amazon CloudFront85%
- GoDaddy Website Builder83%
Menurut penyedia
- Bunny CDN93%
- Cloudflare92%
- Akamai91%
- Fastly89%
- Google edge88%
- Azure Front Door/CDN87%
- Amazon CloudFront86%
- Sucuri85%
- Netlify83%
- Vercel81%
- Alibaba Cloud CDN72%
- Imperva70%
Situs populer tempat kami mengamati hal ini
Sumber dan panduan
Panduan: Panduan robots.txt: Kendalikan Perayapan Tanpa Menyembunyikan KesalahanPeriksa situs Anda sendiri