Robots.txt 생성기

robots.txt는 규칙을 지키는 크롤러에게 사이트의 어느 부분을 요청해도 되는지 알려 줍니다. 보안 기능은 아닙니다. 차단한 URL도 방문할 수 있으며, 다른 페이지에서 링크하면 검색 결과에 나타날 수도 있습니다. 페이지를 결과에서 빼려면 noindex 태그를 사용하세요.

프리셋

사이트맵 URL

차단할 경로(한 줄에 하나)

허용할 경로(예외)

주요 AI 학습용 크롤러도 차단(GPTBot, CCBot, Google-Extended, ClaudeBot, Applebot-Extended, PerplexityBot, Bytespider)

robots.txt

경로 테스트

테스트할 경로

브라우저 안에서만 실행됩니다. 입력한 내용과 파일은 어떤 서버에도 업로드되지 않습니다.

사용 방법

시작할 프리셋을 고릅니다.
차단하거나 허용할 경로를 한 줄에 하나씩 쓰고 사이트맵 URL을 추가합니다.
몇 가지 경로를 테스트한 뒤 robots.txt를 내려받아 도메인 루트에 업로드합니다.

예시

관리자 영역 차단

/admin/을 차단하고 나머지 사이트는 크롤링 가능하게 둡니다.

AI 학습 크롤러 거부

거부 방법을 공개한 GPTBot, CCBot 같은 사용자 에이전트용 규칙을 추가합니다.

개인정보

브라우저 안에서만 실행됩니다. 입력한 내용과 파일은 어떤 서버에도 업로드되지 않습니다. 브라우저에 저장되는 내용(즐겨찾기와 기록만)은 개인정보 처리방침을 참고하세요. 개인정보 처리방침

직접 확인해 보세요. 브라우저 개발자 도구를 열고 네트워크(Network) 탭을 선택한 뒤 도구를 사용하세요. 파일은 어떤 업로드 요청에도 나타나지 않습니다. 이 페이지가 오프라인용으로 저장된 뒤에는 인터넷 연결을 끊고도 계속 작업할 수 있습니다. 광고와 익명 방문 통계는 활성화된 경우 자체 요청을 보내지만, 파일이나 텍스트를 받지는 않습니다.

자주 묻는 질문

robots.txt는 어디에 두나요?

호스트의 루트입니다: https://example.com/robots.txt. 하위 도메인마다 별도의 파일이 필요합니다.

Disallow로 Google에서 페이지가 삭제되나요?

아니요. 크롤링을 막을 뿐 색인을 막지는 않습니다. 결과에서 페이지를 빼려면 noindex 메타 태그를 쓰고 크롤링은 허용하세요.

테스터는 어떻게 판단하나요?

로봇 배제 프로토콜(RFC 9309)을 따릅니다: 가장 길게 일치하는 규칙이 우선하고, 같으면 Allow가 우선하며, * 와 $ 와일드카드를 지원합니다. ‘*’ 그룹을 테스트합니다.

경로 테스트

사용 방법

예시

개인정보

자주 묻는 질문

관련 도구