네이버 웹마스터도구 - 사이트를 웹 표준에 맞게 개선해 주세요.

운영하고 있는 블로그 중의 하나가 위와 같은 이유 때문에 골치가 아팠다. 문제는 수집 상태가 알 수 없음으로 뜨고 있어서 글을 작성해도 제대로 색인이 안된다는 것이 문제인데, 대략적으로 확인해본 결과 아무것도 하지 않아도 알아서 풀린다는 것이다. 가령, 사이트 웹 표준에 맞게 했다고 하더라도 일시적인 문제일 수가 있다.

그렇다면, 이 경고글은 왜 나타나는 것인가?

보통 나의 경우에는 글을 작성하고 나면 네이버 검색에서 빠르게 수집을 하기 위해서 페이지 하나하나 수집 요청을 수집 요청을 한다. 그러다가, 혹시라도 놓친 부분이 있을까 싶어서 다시 한번 모두 수집 요청을 했는데, 네이버 웹마스터 도구에서는 이것이 하나의 봇 작업이거나 혹은 너무 많은 요청 때문에 일종의 과부하가 걸린 것이다. 그래서 제대로 수집하지 못하고 있는 것이다.

웹 페이지 수집 요청이 제대로 되고 있지가 않다.

따라서, 요청 횟수는 하루에 일간 최대 50회로 제한이 된다고 하더라도 실질적으로 몇 개 정도만 하는 것이 안정적으로 색인을 하는 방법인 것이다. 네이버의 경우에는 이렇게 수작업을 하는 것을 별로 좋아하지 않는 것 같다. 하지만, 문제는 네이버의 색인 주기가 상당히 느리기 때문에, 색인을 아무리 짧게 잡아도 콘텐츠를 제대로 색인시키지 못하는 경우가 많다.

네이버의 색인현황 통계그래프

위와 같이 현재 작성한 해당 블로그의 글이 약 90개 정도가 되는데, 나머지 30~40개 정도는 색인이 안되어있는 것을 확인할 수 있었다. 다음의 경우에는 별도의 작업을 하지 않아도 모두 색인이 된 것을 확인할 수 있었다. 네이버검색의 경우에는 자사의 서비스인 네이버 블로그를 우선적으로 색인하는 것이 중요하므로, 웹문서 혹은 통합검색 색인에 있어서 조금 부진하다는 것이 여러 번의 실험 결과 나타났다.

오류 현황

아이러니하게도, 오류 하나 발생하지 않았고 꼼꼼하게 수정한 결과 SEO에 치명적인 요소를 모두 개선하였기 때문에 정상적이라면 웹문서 색인이 잘 되어야만 한다. 이 부분은 구글과는 다르게 작동하기 때문에 정확한 검색 색인 부분은 구글 개요를 기준으로 하는 것이 맞다.

웹페이지 최적화 검증을 다시 시도해보면 하나도 빠짐없이 최적화가 되어 있다. 페이지 다운로드 속도도 준수하고, 네이버 로봇이 웹 페이지를 정상적으로 수집할 수 있다고 나온다. 따라서 위의 '사이트를 웹 표준에 맞게 개선해 주세요.'에 대한 이슈는 단순한 일시적인 오류라고 할 수 있다.

구글 서치 콘솔(구글 웹마스터도구)

많은 관리를 하지 않는 블로그임에도 불구하고 점차 색인되지 않았던 문서들도 구글 검색에 노출이 되면서 점점 노출과 클릭률이 높아지는 것을 확인할 수 있었다. 글 하나하나 나름대로 정성스럽게 쓴 웹문서들이기에 이렇게 노출이 되어야 하는 것이 정상적이다.

구글 서치콘솔의 색인 그래프

관리를 많이 하는 블로그는 아니라서 새롭게 색인된 페이지는 없지만, 관리자 페이지를 제외하고는 모두 정상적으로 수집이 되고 있다. 이 부분은 네이버 측에서 빠르게 해결해야 할 것 같다는 생각이 든다. 네이버의 자사 서비스인 네이버 블로그와 카페, 포스트를 노출하는 것도 중요하겠지만, 구글이나 다음과 마찬가지로 '좋은 콘텐츠'라면 플랫폼과 상관없이 웹문서를 빠르게 수집하는 것이 검색 포털의 경쟁력이 아닐까 하는 생각이 든다.