SEO / 크롤링
robots.txt 생성기
각 크롤러의 규칙과 사이트맵 줄을 포함한 robots.txt 파일을 생성합니다. 모두 허용, 스테이징 사이트 차단, AI 학습 크롤러 차단 프리셋을 사용할 수 있습니다.
robots.txt 생성기: robots.txt는 크롤러가 가져올 수 있는 경로를 지정합니다. RFC 9309에 따라 각 그룹에는 사용자 에이전트 이름이 먼저 나오고, 그 뒤에 Disallow 및 Allow 규칙이 따릅니다. 일치하는 규칙이 여러 개이면 가장 구체적인 규칙이 적용됩니다. AI 학습 프리셋은 GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, meta-externalagent 그룹을 추가합니다. 이 이름은 각 운영자가 학습 거부를 위해 문서에 명시한 이름입니다. 생성기는 앞에 슬래시가 없는 경로, 상대 사이트맵 URL, 모든 크롤러를 차단하는 규칙에 대해 경고합니다. 서버에 파일을 전혀 업로드하지 않고 브라우저에서 100% 로컬로 실행됩니다.
- 카테고리
- 웹 도구
- 실행 횟수
- 브라우저에서
- 비용
- 무료 · 가입 불필요
- 사용 가능 여부
- 사용 가능
브라우저에서 전부 실행됩니다
User-agent: * Disallow: /admin/ Disallow: /cart/ Sitemap: https://example.com/sitemap.xml
https://example.com/robots.txt와 같이 사이트 루트에 파일을 배치하십시오. 이 파일은 크롤러에 접근하지 말도록 요청할 뿐이며, 어떤 것도 숨기거나 보호하지 않습니다. 또한 Google은 Crawl-delay를 무시합니다. AI 크롤러 이름은 2026년 10월 2일에 확인했지만, 기업에서 새로운 크롤러를 추가할 수 있으므로 해당 문서를 확인하십시오.
흔한 실수
CSS와 JavaScript를 차단하면 검색 엔진이 페이지를 제대로 렌더링하지 못합니다. 삭제하려는 페이지를 차단하면 크롤러가 해당 페이지의 noindex 태그를 확인하지 못합니다. 사이트를 출시한 후에도 스테이징 사이트의 Disallow: /를 그대로 두면 전체 사이트가 숨겨집니다. 배포할 때마다 실제 파일을 확인하십시오.
기존 파일을 테스트하려면 robots.txt 검사 도구를 사용하고, 해당 파일이 가리키는 사이트맵을 확인하려면 사이트맵 검사 도구를 사용하십시오.
와일드카드
Google과 Bing은 모든 문자를 나타내는 *와 URL의 끝을 나타내는 $를 지원합니다. Disallow: /*.pdf$는 모든 PDF를 차단합니다. 일치하는 규칙이 여러 개면 가장 긴 규칙이 우선하므로 Allow: /shop/sale/은 Disallow: /shop/보다 우선 적용됩니다.
사용 방법
- 프리셋으로 시작하거나 사용자 에이전트와 경로 그룹을 편집합니다.
- 사이트맵 URL을 추가합니다.
- robots.txt를 복사하거나 다운로드하여 사이트 루트에 배치합니다.
개인정보 보호 및 제한사항
파일은 브라우저에서 생성됩니다. 업로드하지 않습니다.
관련 도구
자주 묻는 질문
robots.txt가 Google 검색에서 페이지를 차단하나요?
크롤링은 중지하지만 색인 생성은 차단하지 않습니다. 다른 사이트가 링크하면 차단된 페이지가 검색 결과에 계속 표시될 수 있습니다. 페이지를 검색 결과에서 제외하려면 크롤링을 허용하고 noindex 메타 태그를 추가하십시오.
AI 크롤러를 차단하면 AI 도구에서 내 콘텐츠가 삭제되나요?
앞으로 해당 크롤러가 페이지를 수집하지 않도록 요청할 뿐입니다. 이미 수집된 콘텐츠를 삭제하지 않으며, robots.txt를 준수하는 크롤러만 따릅니다.
Crawl-delay가 작동하나요?
Bing과 일부 다른 크롤러는 이를 준수하지만, Google은 무시하고 크롤링 속도를 자동으로 조정합니다.
무료 도구 · 브라우저에서회 실행 · 계정 불필요