Robots.txt 생성기

소개

robots.txt는 검색엔진 크롤러에게 사이트의 어느 부분에 접근해도 되는지 알려줍니다. 올바른 파일은 비공개·중복 영역을 색인에서 빼고 크롤러를 사이트맵으로 안내합니다. 이 생성기는 선택한 규칙으로 파일을 브라우저에서 만들어 줍니다.

사용 방법 (단계별)

1. 1

   허용·차단 항목 선택

   크롤링을 원치 않는 경로에 Disallow 규칙을 추가하세요.

2. 2

   사이트맵 URL 추가

   크롤러가 찾도록 전체 사이트맵 위치를 포함하세요.

3. 3

   robots.txt로 저장

   도메인 루트(example.com/robots.txt)에 파일을 두세요.

작동 원리

파일은 user-agent(크롤러)별로 묶인 규칙 목록이며, 각 규칙의 Allow·Disallow 경로가 URL 패턴의 크롤링을 허용·차단합니다. 사이트맵 위치도 선언할 수 있습니다. 크롤러는 크롤링 전 robots.txt를 읽으므로 경로 차단이 정상적 봇을 막지만, 이는 크롤링 지침일 뿐 보안 수단이나 색인 제외 보장이 아닙니다.

이럴 때 쓰세요

관리자·장바구니·스테이징 경로를 크롤러에서 차단할 때. 검색엔진을 사이트맵으로 안내할 때. 새 사이트에 기본 허용 파일을 둘 때 유용합니다.

자주 묻는 질문