준비도 점검 · 활성화 영역 · 가중치 5

robots.txt 게시

/robots.txt가 일반 텍스트 파일을 반환합니다.

중요한 이유

robots.txt는 크롤러가 크롤링 규칙과 사이트맵 위치를 가장 먼저 확인하는 곳입니다. 이 파일이 없으면 크롤러는 모든 항목이 허용되어 있다고 가정합니다.

필요한 크롤링 규칙과 XML 사이트맵을 가리키는 Sitemap: 행을 포함한 /robots.txt를 게시하세요.

/robots.txt가 일반 텍스트 파일을 반환합니다.

확인: robots.txt가 발견되었습니다.

미확인: robots.txt가 발견되지 않았습니다.

한계: 검사 시점에 표준 위치만 한 번 요청했습니다.