네이버 색인과 수집 4분 읽기
네이버 검색 노출 안되는 이유
글을 올렸는데 네이버에 안 뜨는 이유는 대부분 하나가 아니라 여러 단계 중 어딘가에서 걸린다. 크게 나누면 아직 수집(크롤링) 자체가 안 된 경우, 수집은 됐지만 색인에서 제외된 경우, 그리고 단순히 반영 시간이 더 필요한 경우로 나뉜다. 이 세 갈래를 구분하지 못하면 같은 문제를 두고 엉뚱한 조치를 반복하게 된다. 아래에서 확인 순서와 흔한 원인을 나눠 정리한다.
발행 직후 가장 먼저 할 일
글을 올렸다고 바로 결과를 기다리기보다, 먼저 상태부터 눈으로 확인하는 절차를 거친다. 첫 단계는 네이버 서치어드바이저에 사이트 소유확인을 마치는 것이다. 소유확인이 안 되어 있으면 이후 어떤 진단 도구도 쓸 수 없기 때문에 순서상 반드시 앞서야 한다. 두 번째 단계는 방금 발행한 글의 URL을 서치어드바이저의 URL 검사 도구에 넣어 개별 조회하는 것이다. 이 조회로 수집이 아직 안 된 것인지, 수집은 됐는데 색인만 빠진 것인지가 구분되며, 이 구분에 따라 다음 조치가 완전히 달라진다. 세 번째 단계는 수집 자체가 안 됐을 때 사이트맵을 다시 제출하고 robots.txt 설정을 점검하는 것이다. 사이트맵 누락이나 차단 규칙이 수집을 막는 흔한 원인이라 이 지점을 짚어야 한다. 네 번째 단계는 수집은 됐지만 색인이 안 됐을 때 해당 페이지의 메타 태그에서 noindex 설정 여부를 확인하는 것이다. 수집과 색인은 서로 다른 단계라 원인이 있는 위치도 다르게 나타난다.
반영 속도는 글이 놓인 자리마다 다르다
같은 조건으로 발행해도 반영 속도는 글이 어디에 올라갔는지에 따라 갈린다. 네이버 카페나 블로그처럼 이전부터 수집 이력이 쌓인 곳은 짧으면 하루 만에 통합검색에 나타났지만, 이번에 새로 만든 홈페이지에 처음 올리는 글은 반영까지 1~14일이 걸렸다. 이 차이는 도메인의 수집 이력, 사이트맵 제출 시점, 서버 응답 속도가 겹쳐서 생기는 것이라 상태에 따라 결과가 갈린다고 보는 편이 맞다. 그래서 발행 다음 날 안 보인다고 바로 이상 신호로 단정하기보다는, 최소 2주는 지켜본 뒤에 다음 조치를 정하는 쪽이 순서에 맞다.
원인 위치가 다른 두 가지 차단
검색에 안 잡히는 증상은 똑같아 보여도 원인이 있는 위치는 서로 다를 수 있다. robots.txt 전면 차단은 서버 쪽 설정 파일 문제로, 사이트 전체 혹은 특정 경로 전부가 수집 대상에서 빠지는 방식이다. 반면 특정 페이지의 noindex 설정은 그 페이지 안쪽 메타 태그 문제로, 수집은 되더라도 색인에서만 개별적으로 제외되는 방식이다. 둘 중 어느 쪽인지에 따라 고쳐야 할 자리가 서버 설정인지 페이지 코드인지가 달라지므로, 증상만 보고 넘겨짚기보다는 두 갈래를 각각 짚어보는 편이 낫다.
네이버가 공식으로 밝힌 기준
이 판단의 근거는 추측이 아니라 네이버가 직접 공개한 안내에 있다. 네이버 서치어드바이저는 robots.txt로 수집이 차단된 URL은 색인 대상에서 제외한다고 안내하고 있다. 즉 아무리 글의 내용이 충실해도 수집 단계에서 막혀 있으면 색인으로 넘어갈 기회 자체가 없다는 뜻이다. 이 기준을 알고 있으면 노출이 안 될 때 콘텐츠 내용을 먼저 의심하기 전에, 수집 차단 여부부터 확인하는 순서가 더 합리적이라는 판단이 선다.
정리
함께 읽을 글
노출이 안 되는 이유는 콘텐츠 품질 하나로 좁혀지지 않는다. 수집 차단, 색인 제외, 반영 대기라는 세 갈래를 순서대로 짚어보면 원인이 있는 자리가 서버 설정인지 페이지 태그인지 아니면 그저 시간의 문제인지가 드러난다. 나는 이 순서를 지키는 쪽이 원인을 헛짚는 시간을 줄인다고 본다. 다음에 확인할 것은 자신의 사이트가 이 세 갈래 중 어디에 걸려 있는지다.
