STATUS IS UPГОТОВНОСТЬ САЙТОВ
Русский
Рабочая область владельца
Изучить SIU

Проверка готовности · Направление «Включить» · вес 5

robots.txt опубликован

/robots.txt возвращает файл в формате обычного текста.

Выявлено на
79%

из 175,171 сайтов с измерениями

Топ-1 тысяча сайтов
76%

Измерено: 240

Группа топ-1 миллион
81%

Измерено: 90,782

Не измерено
10,885

доступ заблокирован, запрошена проверка пользователя или проверка неприменима

Почему это важно

В robots.txt поисковые роботы в первую очередь ищут правила сканирования и адреса карт сайта. Если его нет, они считают, что всё открыто для сканирования.

Как исправить

Опубликуйте /robots.txt с нужными правилами сканирования и строкой Sitemap:, указывающей на вашу XML-карту сайта.

Как мы проверяем

/robots.txt возвращает файл в формате обычного текста.

Обнаружено: robots.txt найден.

Не обнаружено: robots.txt не найден.

Ограничение: во время проверки был однократно запрошен только стандартный путь.

По диапазонам популярности

Диапазон Chrome UX ReportОбнаруженоИзмерено
Топ-1 тыс.76%240
Топ-5 тыс.75%1,628
Топ-10 тыс.75%2,419
Топ-50 тыс.74%17,917
Топ-100 тыс.76%15,669
Топ-500 тыс.78%46,516
Топ-1 млн81%90,782

Категории, в которых это встречается чаще всего

Категории, в которых это встречается реже всего

По стеку

По провайдеру

Популярные сайты, где мы это обнаружили

Источники и руководства

Руководство: Руководство robots.txt: управлять краулингом без сокрытия ошибокПроверьте свой сайт