STATUS IS UPMỨC ĐỘ SẴN SÀNG CỦA WEBSITE
Tiếng Việt
Không gian chủ sở hữu
Khám phá SIU

Kiểm tra mức độ sẵn sàng · Nhóm Kích hoạt · trọng số 5

robots.txt đã được công bố

/robots.txt trả về một tệp văn bản thuần túy.

Được ghi nhận trên
79%

trong số 175,171 trang web đã đo

Các trang web top 1K
76%

240 đã đo

Nhóm top 1M
81%

90,782 đã đo

Không đo được
10,885

bị chặn, gặp yêu cầu xác minh hoặc không áp dụng

Vì sao điều này quan trọng

robots.txt là nơi trình thu thập dữ liệu tìm đến đầu tiên để tra cứu quy tắc thu thập dữ liệu và vị trí sơ đồ trang web. Nếu không có tệp này, chúng mặc định rằng mọi nội dung đều được phép truy cập.

Cách khắc phục

Xuất bản /robots.txt với các quy tắc thu thập dữ liệu bạn cần và một dòng Sitemap: trỏ đến sơ đồ trang web XML của bạn.

Cách chúng tôi kiểm tra

/robots.txt trả về một tệp văn bản thuần túy.

Ghi nhận: Đã tìm thấy robots.txt.

Không ghi nhận: Không tìm thấy robots.txt.

Giới hạn: Chỉ gửi yêu cầu đến vị trí tiêu chuẩn một lần tại thời điểm kiểm tra.

Theo nhóm mức độ phổ biến

Nhóm Chrome UX ReportĐã ghi nhậnĐã đo lường
Top 1K76%240
Top 5K75%1,628
Top 10K75%2,419
Top 50K74%17,917
Top 100K76%15,669
Top 500K78%46,516
Top 1M81%90,782

Các danh mục có khả năng thực hiện điều này cao nhất

Các danh mục có khả năng thấp nhất

Theo bộ công nghệ

Theo nhà cung cấp

Các trang web phổ biến nơi chúng tôi ghi nhận điều này

Nguồn và hướng dẫn

Hướng dẫn: Hướng dẫn robots.txt: Kiểm soát việc thu thập dữ liệu mà không che giấu lỗiKiểm tra trang web của bạn