robots.txt 검사 도구

간단한 robots.txt 예시

파일을 호스트의 루트에 /robots.txt로 배치하십시오. User-agent는 크롤러 그룹을 선택하고, Disallow는 해당 그룹이 일치하는 경로를 가져오지 못하게 하며, Allow는 예외를 지정할 수 있습니다. 이 예시는 비공개 디렉터리를 차단하되 공개 보도자료 폴더는 허용하고 사이트맵을 선언합니다.

User-agent: *
Disallow: /private/
Allow: /private/press/

Sitemap: https://example.com/sitemap.xml

일치하는 경로가 가장 긴 규칙이 우선하며, 길이가 같으면 Allow가 우선합니다. 경로는 대소문자를 구분합니다. 같은 에이전트와 일치하는 그룹의 규칙은 결합되며, 이름이 지정된 크롤러는 와일드카드 그룹의 규칙을 상속하지 않습니다. 프로토콜 참고 자료: https://www.rfc-editor.org/rfc/rfc9309.html

확인해야 할 흔한 실수

Disallow: /는 모든 경로를 차단하지만, 비어 있는 Disallow 값은 아무것도 차단하지 않습니다. /blog/robots.txt 아래의 파일은 사이트 루트를 제어하지 않으며, 한 호스트의 규칙은 서브도메인에 적용되지 않습니다. 검색 엔진이 페이지를 렌더링하는 데 필요한 자산을 차단하지 마십시오.

Robots.txt는 크롤링을 제어할 뿐, 액세스나 검색 결과에서의 확실한 삭제를 제어하지 않습니다. 비공개 콘텐츠에는 인증을 사용하십시오. 공개 페이지를 검색에서 제외해야 한다면 크롤링을 허용하고 noindex를 제공하십시오. 이 검사 도구는 그룹과 와일드카드 루트 정책을 요약하지만 모든 URL을 테스트하지는 않습니다. 검색 안내: https://developers.google.com/search/docs/crawling-indexing/robots/intro

사용 방법

1. 확인하려는 사이트의 페이지 URL을 입력합니다.
2. “robots.txt 확인”을 선택합니다.
3. 그룹, 규칙 수, 사이트맵 및 전체 원문을 검토합니다.

개인정보 보호 및 제한사항

사이트 URL은 TOEA의 제한된 가져오기 서비스로 전송되며 저장되지 않습니다. robots.txt 파일은 권고 사항이므로, 이 보고서만으로 모든 크롤러가 해당 파일을 따를 것이라고 증명할 수는 없습니다.