Robots.txt 생성기

소개

robots.txt 파일은 검색엔진 크롤러에게 사이트의 어느 부분에 접근해도 되는지 아닌지를 알려줍니다. 도메인 루트에 위치하며, 예의 바른 봇이 크롤링 전에 가장 먼저 확인하는 파일입니다. 이 생성기는 간단한 선택 — 어떤 경로를 허용·차단할지, 사이트맵 위치 — 으로 유효한 robots.txt를 만들어 문법을 외울 필요가 없게 해줍니다.

사용 방법 (단계별)

1. 1

   규칙 선택

   규칙이 적용될 user-agent와 허용·차단할 경로를 고릅니다.

2. 2

   사이트맵 추가

   선택적으로 사이트맵 URL을 넣어 크롤러가 모든 페이지를 찾도록 합니다.

3. 3

   robots.txt로 저장

   생성된 텍스트를 robots.txt 파일에 복사해 도메인 루트에 업로드합니다.

작동 원리

user-agent(규칙이 적용될 크롤러, 흔히 전체를 뜻하는 *)를 지정하고, URL 경로에 대한 Allow·Disallow 규칙, 그리고 선택적으로 사이트맵 URL을 정합니다. 도구는 이를 검색엔진이 기대하는 정확한 텍스트 형식으로 조합합니다. 출력을 robots.txt라는 파일에 복사해 사이트 루트에 업로드하면 됩니다. 이것은 보안 장벽이 아니라 협조적 크롤러를 안내하는 지시문 모음입니다.

이럴 때 쓰세요

관리자·스테이징·중복 페이지에 크롤러가 접근하지 못하게 할 때. 더 빠른 발견을 위해 검색엔진에 사이트맵을 알릴 때. 서버를 과부하시키는 특정 봇을 차단할 때. 모두 허용하면서 사이트맵만 선언할 때. 빈약하거나 비공개인 섹션이 크롤링되지 않게 할 때. 새 사이트 출시용 robots 규칙을 설정할 때.

자주 묻는 질문