서치어드바이저와 웹마스터도구 4분 읽기
robots.txt 작성 시 확인 사항 체크리스트
robots.txt 작성 시 확인 사항은 검색엔진 크롤러가 사이트의 어떤 페이지에 접근하고 어떤 경로를 건너뛰어야 하는지 명확한 문법 규칙으로 지시하는 작업입니다. 파일 위치는 반드시 루트 디렉터리에 위치해야 하며 대소문자 구분과 슬래시 위치 하나로도 수집 허용 범위가 완전히 달라질 수 있습니다. 올바른 지시어 순서와 크기 제한 기준을 미리 점검해야 검색 로봇의 불필요한 트래픽 낭비와 의도치 않은 색인 제외 사고를 방지할 수 있습니다.
기본 문법 구성과 지시어 배치 순서
robots.txt 파일은 규칙을 파싱하는 로봇이 위에서부터 순차적으로 해석하므로 올바른 배치 단계가 필요합니다. 1단계는 `User-agent` 행을 선언하여 해당 규칙이 적용될 크롤러 대상을 지정하는 것으로, 대상 로봇을 한정 짓거나 전체를 지정하는 기준점이 되기 때문에 필수적입니다. 2단계는 `Disallow` 행을 적어 수집을 원하지 않는 비공개 경로나 관리자 페이지를 지정하는 것으로, 크롤러의 불필요한 시스템 리소스 접근을 막기 위해 필요합니다. 3단계는 `Allow` 행을 통해 차단된 상위 디렉터리 내에서 예외적으로 열어둘 하위 파일 경로를 지정하며, 특정 리소스만 부분 공개하기 위해 활용됩니다. 4단계는 파일 맨 하단에 `Sitemap` 줄을 추가하여 사이트맵 xml 파일의 전체 웹 주소를 적는 것으로, 검색엔진이 구조화된 전체 콘텐츠 목록을 빠르게 파악하도록 돕기 위해 작성합니다.
경로 표기법과 대소문자 구분에 따른 차이
경로를 지정할 때는 사소한 문자 표기 차이가 수집 동작에 큰 영향을 미치므로 환경에 맞추어 성질 차이를 구분해야 합니다. 슬래시(`/`) 유무에 따라 디렉터리 전체 차단과 특정 접두어 파일 차단으로 갈립니다. 예를 들어 `/admin/`은 해당 폴더 안의 하위 리소스만을 지정하지만, 끝에 슬래시가 없는 `/admin` 표기는 `admin.html`이나 `admin-page`처럼 해당 단어로 시작하는 모든 파일과 디렉터리를 포괄하여 차단합니다. 또한 검색엔진 크롤러는 대문자와 소문자를 서로 다른 주소로 엄격히 구분합니다. 따라서 서버 내부 주소가 대소문자를 구분하지 않더라도, 규칙에 `/Blog/`로 적으면 실제 소문자 경로인 `/blog/` 페이지는 차단 대상에서 제외되므로 실제 링크 구조와 정확히 일치시켜야 합니다.
파일 크기 제한과 공식 수집 규격
robots.txt 파일을 작성할 때는 검색엔진별 파서가 허용하는 파일 규격을 넘지 않도록 주의해야 합니다. Google 검색 개발자 가이드에 따르면 구글은 robots.txt 파일 크기가 500KB를 넘어서면 그 이후에 작성된 규칙 내용을 파싱하지 않고 무시한다고 명시합니다. 대규모 사이트에서 수많은 세부 경로를 일일이 파일 안에 나열하다 보면 500KB 한도를 초과할 위험이 있으므로, 불필요하게 긴 규칙을 단순화하거나 패턴 매칭 기호를 활용해 파일 크기를 가볍게 유지해야 합니다.
문법 수정 후 반영 대기 시 고려할 점
robots.txt 파일의 내용을 수정하고 서버에 업로드했더라도 각 검색엔진의 크롤러가 변경 사항을 감지하기까지는 일정 시간이 소요됩니다. 문법을 고친 뒤 새 지시어가 수집 현황에 실제로 반영되는 데는 보통 1~2일 정도 걸릴 수 있으며, 사이트의 크롤링 주기나 서버 상태에 따라 반영 시점에는 차이가 나타납니다. 웹마스터도구 내의 테스트 기능을 활용하면 수정된 파일이 문법적으로 올바른지 사전에 점검할 수 있습니다.
함께 읽을 글
robots.txt는 검색 로봇의 크롤링 경로를 제어하는 기본 안내서입니다. 지시어의 선언 순서, 슬래시와 대소문자 표기, 그리고 500KB 파일 용량 제한을 꼼꼼히 검토한 뒤 적용하면 크롤러 수집 오류를 사전에 예방할 수 있습니다.
