목표에 맞는 제어 수단을 선택하세요
크롤링은 URL을 자동으로 가져오는 행위입니다. 색인화는 검색 엔진이 해당 URL에 대한 정보를 저장하고 표시할지 결정하는 과정입니다. 접근 제어는 누가 콘텐츠를 얻을 수 있는지를 결정합니다. Robots.txt는 크롤링과 관련되며, 준수하는 크롤러는 이를 따를지 여부를 선택합니다. IETF Robots Exclusion Protocol은 이것이 권한 부여(authorization)가 아님을 명시합니다.
공개된 낮은 가치 경로(예: 내부 검색 제어 경로)에 대해 크롤러 접근을 관리하려면 Disallow 규칙을 사용하세요. 공개 콘텐츠 중 검색결과에 나타나지 않아야 하는 경우에는 noindex를 사용하세요. 미리보기, 계정 영역, 내보내기, 민감 데이터 등은 실제 접근 제어를 적용하세요. 고객·직원·결제·규제 대상 정보는 자격 있는 보안 및 플랫폼 검토를 받아야 하며, robots.txt는 절대 보완 제어가 아닙니다.
Robots.txt는 준수하는 크롤러가 정의된 공개 경로를 피하도록 요청할 수 있으나 결과에서의 제거를 보장하지는 않습니다.
HTML의 meta noindex나 X-Robots-Tag 응답 헤더를 사용하고, 해당 지시를 읽을 수 있도록 응답은 크롤러가 가져갈 수 있게 두세요.
미리보기나 계정, 민감 데이터는 인증 또는 적절한 애플리케이션/서버 제어를 요구하고, 공개 검색 경로에서 URL을 제거하세요.
핵심 문법과 적용 범위를 정확하게 사용하세요
각 스킴, 호스트, 포트별로 오리진 루트에 UTF-8 일반 텍스트 robots.txt를 게시하세요. https://www.example.com/robots.txt 파일이 자동으로 https://example.com, 서브도메인, 또는 HTTP 오리진을 지배하지 않습니다. 규칙이 적용된다고 가정하기 전에 표준화된 URL(정규화 대상), 리디렉션, CDN, 애플리케이션이 제공하는 오리진을 확인하세요.
그룹은 User-agent로 시작하고 Allow 또는 Disallow 경로를 사용합니다. User-agent: *는 일반 그룹입니다. 매칭은 대소문자를 구분하며 경로의 시작에서 비교합니다. 가장 구체적인 매칭 규칙이 우선합니다; 동일하게 구체적인 Allow는 Disallow보다 우선해야 합니다. Disallow: 는 아무 것도 차단하지 않으며, Disallow: / 는 전체 오리진을 차단합니다. 표준은 주석용 #, 와일드카드 *, 패턴 끝 표시 $ 를 정의합니다.
문서화된 크롤 관리 필요성이 없다면 제외 규칙을 추가하지 마세요; 추측성 차단을 만들지 마십시오.
넓은 와일드카드나 설명 없는 파일명 규칙보다 /search/ 같은 안정적이고 좁은 접두사를 선호하세요.
규칙의 목적, 소유자, 변경 참고를 기록하되 주석을 검토 대신으로 사용하지 마세요.
URL 증거로 뒷받침되는 패턴만 차단하세요
규칙을 작성하기 전에 주요 페이지, 원하지 않는 크롤 경로, 쿼리 변형, 사이트 내 검색, 미리보기 경로, 자산, 사이트맵 URL을 인벤토리화하세요. 샘플 URL마다 예상 결과와 일치하는 규칙을 기록하세요. 목록을 정규화된 URL 및 라이브 네비게이션과 비교해 차단이 유용한 경로를 숨기지 않도록 하세요.
브라우저에 중요한 리소스는 테스트가 끝나기 전까지 접근 가능하게 두세요. Google은 CSS, JavaScript, 이미지 등 리소스를 차단하면 페이지 분석이 어려워질 수 있음을 경고합니다. Robots.txt는 중복 콘텐츠 선정, 권한 부여, 페이지 품질 문제를 해결하지 않습니다; 적절할 경우 정규화(canonicalization), 리디렉션, 접근 제어, 또는 콘텐츠 개선을 사용하세요.
다른 사이트에서 복사한 일반 목록이 아니라 실제 URL 샘플과 서버 또는 크롤 증거를 사용하세요.
각 샘플 URL, 의도된 결과, 일치한 규칙, 책임 소유자를 릴리스 기록에 유지하세요.
사이트맵 발견, noindex, 개인정보 결정은 일관되게 유지하세요
사이트맵은 검색 엔진에 중요한 URL 및 파일을 알리는 수단으로 발견을 도울 수 있으나 크롤링이나 색인을 보장하지는 않습니다. 강력한 내부 링크가 여전히 중요합니다. robots.txt에 전적으로 지정된 Sitemap URL을 추가할 수 있지만 비공개, 리디렉션된, robots로 차단된, 또는 의도적으로 noindex로 표시된 URL을 목록으로 포함하지 마세요. 배포 시 사이트맵 출력과 robots 규칙을 조정하세요.
noindex는 Google의 robots.txt 지시가 아닙니다. Google은 HTML meta 태그 또는 X-Robots-Tag HTTP 응답 헤더에서 이를 지원하며, 이 지시를 확인하려면 응답을 크롤해야 합니다. 공개 페이지를 Google 결과에서 제거하려면 noindex를 가리키는 것을 숨기는 robots 차단을 제거하세요. 비공개 콘텐츠는 robots.txt에 경로를 노출하지 말고 접근 제어를 적용하세요. 민감 데이터 경계는 자격 있는 검토가 필요합니다.
예: Sitemap: https://www.example.com/sitemap.xml 같이 전체 URL을 사용하세요; 이것은 크롤 차단을 무효화하지 않습니다.
HTML에는 meta noindex를, 파일 또는 비HTML 응답에는 X-Robots-Tag: noindex 응답 헤더를 사용하고 라이브 응답을 테스트하세요.
콘텐츠가 민감한 경우 먼저 접근을 제한하고, 필요하면 검색 엔진의 제거 프로세스를 사용하세요.
중요 구성 파일처럼 테스트하고 배포하세요
승인된 텍스트를 로컬에서 검증한 후 의도된 크롤러 그룹에 대해 허용 및 차단 예제를 테스트하세요. 배포 후에는 개인적으로 또는 직접 HTTP 요청으로 라이브 /robots.txt를 가져와 콘텐츠, 오리진, 응답 상태를 확인하세요. Google은 Search Console의 robots.txt 보고서와 로컬 테스트용 오픈 소스 파서 라이브러리를 제공합니다.
크롤러는 robots 파일을 캐시할 수 있으므로 즉각적인 발견 또는 색인 변경을 약속하지 마세요. 서버 또는 네트워크 오류 시 크롤러는 전체 차단으로 가정할 수 있고, 4xx 응답은 접근을 허용할 수도 있습니다. 파일은 소스 제어된 구성에 보관하고, 전체 사이트 또는 와일드카드 변경에는 추가 검토를 요구하며 이전 버전을 보관하세요. SIU의 사전검증과 롤백 계획은 잘못된 릴리스가 더 큰 가용성 또는 검색 문제로 커지기 전에 잡는 데 도움이 됩니다.
오리진 마이그레이션, 전체 사이트 차단, 와일드카드, 로그인·체크아웃·지원 경로에 영향을 주는 변경에는 두 번째 검토자를 요구하세요.
중요 샘플 URL이 새로 차단되었거나 필요한 자산이 접근 불가해졌거나 엔드포인트가 사용 불가일 때 이전 버전을 복원하세요.
하나의 크롤러 테스트만으로 모든 자동화 클라이언트가 모든 규칙을 동일하게 해석한다고 증명할 수는 없습니다.