크롤러: 호스팅 서버 과부하

티스토리 블로그에서 크롤러: 호스팅 서버 과부하 문제가 매우 심각합니다. 개인의 문제가 아닌 서버의 문제인 만큼 빠르게 해결되기를 바라고 해결된다고 하더라도 실제로 체감하기까지는 상당한 시간이 걸릴 것으로 예상하고 있습니다. 이 때문에 지금 뭔가 개인의 노력으로 해결할 수 있는 문제는 아니라고 판단하고 다른 플랫폼에서 파이프라인을 추가적으로 개설하는 것을 추천합니다.

 

위와 같이 하루에도 조금씩 크롤러: 호스팅 서버 과부하 문제가 발생하고 있는 상황입니다. 구글 애드센스와 티스토리 블로그 사이의 문제이기 때문에 이 문제가 어떤 원인으로 발생하는지 애드센스 크롤러 문제 해결 페이지에서 확인해볼 수 있습니다.

크롤러: 호스팅 서버 과부하 문제의 원인이 다양하지만 티스토리에서는 특별히 개인의 운영방식으로 인해 해당 문제가 발생할 가능성은 낮습니다. 그렇다면 기본적으로 호스팅 서버의 문제라고 생각해볼 수 있습니다. 티스토리 서버의 문제인 것이죠. 아래와 같이 크롤러 문제는 총 3가지로 나뉩니다. 액세스 문제, 사이트 문제, 호스팅 문제입니다. 이 중에서 우리가 확인해야 할 문제는 호스팅 문제입니다.

 

애드센스 크롤러 문제 해결

사이트를 완전히 크롤링할 수 있다면 콘텐츠에서 더 많은 수익을 올릴 수 있습니다. 애드센스 광고 크롤러가 콘텐츠에 액세스 할 수 없는 경우 다음 크롤러 목록 문제를 참고하여 문제를 해결하세요.

 

액세스 문제

원인	확인 사항	해결 방법
사이트에 로그인이 필요합니다.광고 크롤러가 로그인 페이지로 리디렉션되어 콘텐츠를 크롤링할 수 없습니다.	방문자가 콘텐츠에 액세스하려면 로그인 정보가 필요한가요?	크롤러 로그인을 설정하여 로그인이 필요한 페이지에 광고를 게재하세요.
콘텐츠의 네트워크 또는 IP 범위가 제한되어 있습니다.	콘텐츠에 액세스할 수 있는 지역 또는 IP 범위를 제한하는 조치가 적용되어 있나요?	제한을 해제하거나 모든 사용자가 콘텐츠에 액세스할 수 있도록 설정하여 광고 크롤러가 URL을 크롤링할 수 있도록 하세요.
robots.txt 파일에서 광고 크롤러가 차단되었습니다.	robots.txt 파일에서 광고 크롤러를 허용하지 않았나요?	robots.txt 파일에서 광고 크롤러에 액세스 권한을 부여하세요.

 

사이트 문제

원인	확인 사항	해결 방법
사이트를 찾을 수 없습니다. Google로 전송된 URL이 사이트에 존재하지 않는(또는 더 이상 존재하지 않는) 페이지를 가리키거나 404 오류(찾을 수 없음)를 발생시키는 경우에는 광고 크롤러가 콘텐츠를 제대로 크롤링하지 못합니다.	사이트가 정상적으로 운영 중인가요? 방문자가 웹에서 사이트에 액세스할 수 있나요?	사이트가 웹에 게시되는지 확인하세요.
사이트에 새로 게시된 콘텐츠가 있습니다. 새 페이지를 게시하면 Google 크롤러가 콘텐츠를 크롤링하기 전에 광고 요청이 발생할 수 있습니다. 새 콘텐츠를 많이 게시하는 사이트로는 사용자 제작 콘텐츠, 뉴스 기사 또는 대규모 제품 인벤토리로 구성된 사이트와 날씨 사이트 등이 있습니다.	최근에 게시된 새 콘텐츠가 있나요?	광고 크롤러가 더 긴 시간에 걸쳐 새 콘텐츠를 크롤링할 수 있도록 허용하세요. 일반적으로 새 URL에 광고 요청이 이루어진 후 몇 분 이내에 콘텐츠가 크롤링됩니다. 이러한 몇 분 동안에는 콘텐츠가 크롤링되지 않아서 게재되는 광고가 적을 수 있습니다.
사이트에서 다수의 리디렉션을 사용합니다. 사이트에서 리디렉션을 사용하면 광고 크롤러가 리디렉션을 따라가다가 문제가 발생할 수 있습니다. 예를 들어 리디렉션이 많이 있는 사이트에서 중간 리디렉션이 실패하거나 리디렉션 중 쿠키와 같은 중요한 매개변수가 삭제되면 크롤링 품질이 저하될 수 있습니다.	사이트에서 리디렉션을 많이 사용하나요? 광고를 게재 중인 페이지에서 리디렉션을 설정했나요?	광고 코드가 포함된 페이지에서 리디렉션 사용을 최소화하세요. 모든 리디렉션이 제대로 구현되었는지 확인하세요.
개인화된 페이지 URL을 사용하고 있습니다. 일부 사이트의 경우 로그인한 사용자(예: 세션 ID)나 각 방문에서 고유한 기타 정보가 URL에 추가 매개변수로 포함됩니다. 이 경우 동일한 콘텐츠라도 광고 크롤러가 URL을 새 페이지로 처리할 수 있습니다. 이로 인해 페이지의 첫 번째 광고 요청과 페이지 크롤링 사이에 몇 분의 지연이 발생할 수 있으며 서버의 크롤러 로드도 증가할 수 있습니다.	사이트에서 추가 매개변수 또는 동적으로 생성된 URL 경로가 있는 URL을 사용하나요?	대부분의 경우에는 페이지의 콘텐츠가 그대로라면 URL에서 추가 매개변수를 삭제하고 이 정보를 다른 방식으로 유지하는 것이 좋습니다. URL 구조가 단순하면 사이트를 쉽게 크롤링할 수 있습니다.
POST 데이터를 사용하고 있습니다. 사이트에서 URL과 함께 POST 데이터를 전송하는 경우(예: POST 요청을 통해 양식 데이터를 전달하는 경우) POST 데이터가 수반되지 않은 요청을 사이트에서 거부할 수 있습니다. 광고 크롤러는 POST 데이터를 제공하지 않으므로 이러한 설정에서는 크롤러가 페이지에 액세스하지 못합니다.	사이트에서 URL과 함께 POST 데이터를 전송하나요?	사용자가 양식에 입력한 데이터에 따라 페이지 콘텐츠가 달라지는 경우 GET 요청을 사용해 보세요.

 

호스팅 문제

원인	확인 사항	해결 방법
사이트의 네임서버에 문제가 있습니다.	네임서버가 올바르게 설정되어 있나요? 요청의 출처에 대한 제한이 있나요?	도메인 또는 하위 도메인의 네임서버가 광고 크롤러를 콘텐츠에 제대로 연결하는지 확인하세요.
사이트의 서버에 문제가 있습니다. 광고 크롤러가 사이트 콘텐츠에 액세스하려고 할 때 사이트의 서버가 제때에 응답하지 못하는 경우가 있습니다. 이러한 문제는 서버가 다운되거나, 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생할 수 있습니다.	사이트의 서버가 정상적으로 운영 중인가요?	사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅되도록 하는 것이 좋습니다.

 

현재 발생하고 있는 크롤러: 호스팅 서버 과부하 문제는 바로 맨 마지막의 문제입니다. 서버가 제때 응답하지 못하거나 서버가 다운되거나 느려지거나, 많은 요청에 의해 과부하가 걸릴 때 발생합니다. 이 문제는 사이트가 신뢰할 수 있는 서버 또는 서비스 제공업체에서 호스팅 되도록 하는 것이 중요할 것입니다. 따라서 개인이 해결할 수 있는 방법은 없으며 해결되기를 기다릴 수 밖에 없습니다.

이 문제는 이전부터 간헐적으로 발생했던 문제였기 때문에 하루 아침에 해결 될 것으로 판단하지 않습니다.