검색엔진 최적화(SEO) 가이드 : 색인/크롤링/크롤러/Googlebot/SEO

검색엔진 최적화(SEO) 가이드

용어 설명

가이드에 사용된 중요한 용어는 다음과 같습니다.

• 색인 : Google에서는 알고 있는 모든 웹페이지를 색인에 저장합니다. 각 페이지의 색인 항목은 해당 페이지의 콘텐츠 및 위치(URL)를 명시합니다. Google에서 페이지를 가져와서 읽고 색인에 추가하면 색인이 생성됩니다. 예: Google에서 오늘 내 사이트의 페이지 색인을 생성했다.
• 크롤링 : 신규 또는 업데이트된 웹페이지를 찾는 프로세스입니다. Google은 링크를 따라가거나, 사이트맵을 읽거나, 다른 여러 방법으로 URL을 찾아냅니다. 예: Google은 웹을 크롤링하고 새 페이지를 찾은 다음 필요한 경우 색인을 생성한다.
• 크롤러 : 웹에서 페이지를 크롤링(가져오기)한 다음 색인을 생성하는 자동 소프트웨어입니다.
• Googlebot : Google 크롤러의 일반적인 이름입니다. 예: Googlebot은 웹을 끊임없이 크롤링한다.
• SEO : 검색엔진 최적화, 즉 검색엔진에서 찾기 쉽도록 사이트를 개선하는 프로세스입니다. 관련 직무를 실행하는 사람의 직책을 의미하기도 합니다. 예: 우리는 웹 인지도를 높이기 위해 SEO를 새로 고용했다.

내 사이트가 Google에 없는 경우 - Google이 크롤링하는 페이지는 수십억 개가 넘지만, 크롤링되지 않는 사이트가 있을 수도 있습니다. Google 크롤러가 특정 사이트를 크롤링하지 못한다면 그 이유는 주로 다음과 같습니다.

• 사이트가 웹의 다른 사이트에서 잘 연결되지 않습니다.
• 사이트가 개설된 지 얼마 되지 않아 Google이 아직 크롤링하지 못했습니다.
• 사이트의 디자인 때문에 Google이 사이트의 콘텐츠를 효과적으로 크롤링하기 어렵습니다.
• Google이 사이트를 크롤링하려는 중에 오류가 발생했습니다.
• 사이트 정책으로 인해 Google의 사이트 크롤링이 차단되었습니다.

내 사이트가 Google에서 검색되도록 하려면 어떻게 해야 하나요?

Google 검색 결과에 사이트를 추가해도 비용이 발생하지 않으며 방법도 매우 간단합니다. Google에 사이트를 제출할 필요도 없습니다. Google은 웹 크롤러를 사용하는 완전히 자동화된 검색엔진입니다. 웹 크롤러는 지속적으로 웹을 탐색하면서 Google 색인에 추가할 사이트를 찾습니다. 실제로 Google 검색 결과에 게재되는 사이트 중 대부분은 수동으로 등록된 것이 아니라, 크롤링을 통해 자동으로 발견되고 추가된 것입니다.

Google에서는 Google 친화적인 웹사이트를 구축하는 데 유용한 웹마스터 가이드라인을 제공합니다. Google 크롤러가 특정 사이트를 발견할 것이라고 보장할 수는 없지만 이러한 가이드라인을 따른다면 사이트가 Google의 검색 결과에 표시되는 데 도움이 될 것입니다

색인 생성

페이지가 발견되면 Google은 페이지가 어떤 페이지인지 파악하려고 합니다. 이 과정을 색인 생성이라고 합니다. Google은 페이지의 콘텐츠를 분석하고 삽입된 이미지와 동영상 파일의 목록을 작성하고 그 외 다른 방법으로 페이지를 파악하려고 합니다. 이 정보는 수많은 컴퓨터에 저장된 거대한 데이터베이스인 Google 색인에 저장됩니다.

※ 페이지 색인 생성을 개선하려면 다음 사항을 점검하세요.

• 페이지 제목은 짧고 의미 있게 만듭니다.
• 페이지의 주제를 전달하는 페이지 제목을 사용합니다.
• 이미지보다 텍스트를 사용하여 콘텐츠를 전달합니다. (일부 이미지와 동영상의 경우에 Google이 이해할 수는 있지만 텍스트만큼은 아닙니다.) 적어도 대체 텍스트와 기타 속성을 적절히 이용해 동영상과 이미지에 주석을 달아 주시기 바랍니다.

Googlebot은 크롤링하는 각 페이지를 처리하여 페이지의 콘텐츠를 이해합니다. 여기에는 title 태그나 Alt 속성, 이미지, 동영상 등의 텍스트 콘텐츠, 주요 콘텐츠 태그 및 속성을 처리하는 것이 포함됩니다. Googlebot은 대부분의 콘텐츠 유형을 처리할 수 있지만, 일부 처리가 불가능한 유형도 있습니다. 예를 들어 일부 리치 미디어 파일의 콘텐츠는 처리할 수 없습니다.

Google에서는 크롤링과 색인 생성을 하는 중에 페이지가 다른 페이지의 중복 또는 표준 페이지인지 판단합니다. 페이지가 중복으로 간주되면 크롤링 빈도가 훨씬 적어집니다. 유사한 페이지는 문서로 그룹화됩니다. 이 문서는 표준 페이지(그룹의 가장 대표적인 페이지) 및 발견한 중복 항목(같은 페이지로 연결되는 대체 URL 또는 같은 페이지의 대체 모바일/데스크톱 버전)을 포함하는 1개 이상의 페이지 그룹입니다.

Google에서는 NOINDEX 명령어(헤더 또는 태그)가 포함된 페이지의 색인을 생성하지 않습니다. 하지만 Google에서 명령어를 읽을 수 있어야 합니다. 페이지가 robots.txt 파일이나 로그인 페이지 등의 수단으로 차단된 경우 Google에서 방문하지 않았는데도 페이지의 색인이 생성될 수 있습니다.

게재 및 순위 지정(구글 검색순위)

사용자가 검색어를 입력하면 Google이 여러 요소를 바탕으로 색인에서 관련성 있는 답변을 찾기 위해 노력합니다. Google은 가장 높은 품질의 답변을 결정하고, 최상의 사용자 환경과 가장 적절한 답변을 제공할 수 있는 다른 요소(예: 사용자의 위치, 언어, 데스크톱 또는 휴대전화 등의 기기)를 고려합니다. 예를 들어 '자전거 수리점'을 검색하면 파리에 있는 사용자와 홍콩에 있는 사용자는 서로 다른 답이 표시됩니다. Google은 금전적인 대가를 받고 페이지의 순위를 높이지 않습니다. 사이트의 순위는 프로그래매틱 방식으로 결정됩니다.

게재 및 순위

• 빠르게 로드되는 모바일 친화적인 페이지를 만듭니다.
• 페이지에 유용한 최신 콘텐츠를 포함하고 최신 상태로 유지합니다.
• 양질의 사용자 환경을 보장하는 데 도움이 되는 Google 웹마스터 가이드라인을 따릅니다.
• SEO 기본 가이드의 도움말과 권장사항을 읽습니다.

크롤링

크롤링은 Googlebot이 새로운 페이지 및 업데이트된 페이지를 방문하여 Google 색인에 추가하는 과정입니다.

Google은 다양한 종류의 컴퓨터를 사용하여 수십억 개의 웹페이지를 가져옵니다. 이 작업을 '크롤링'이라고 합니다. 웹페이지를 가져오는 프로그램을 Googlebot이라고 합니다. 로봇, 크롤러 또는 스파이더라고도 알려져 있습니다. Googlebot은 알고리즘 프로세스를 사용하여 크롤링할 사이트, 각 사이트에서 가져올 페이지 수, 가져오기를 실행할 빈도를 결정합니다.

Google의 크롤링은 이전 크롤링 과정에서 생성되어 웹마스터가 제공한 사이트맵 데이터가 추가된 웹페이지 URL 목록부터 시작합니다. Googlebot이 페이지를 방문하면 페이지의 링크를 찾아 크롤링할 페이지 목록에 추가합니다. 이렇게 파악된 새 사이트, 기존 사이트의 변경사항 및 비활성 링크에 따라 Google 색인이 업데이트됩니다.

크롤링하는 동안 Google은 최신 버전의 Chrome을 사용하여 페이지를 렌더링 합니다. 렌더링 과정 중에 찾은 페이지 스크립트를 실행합니다. 사이트에서 동적으로 생성된 콘텐츠를 사용하는 경우 자바스크립트 SEO 기본사항을 따르세요.

Google 검색이 자바스크립트를 처리하는 방법

Googlebot이 자바스크립트를 처리하는 방법

Googlebot은 다음 세 가지 주요 단계로 자바스크립트 웹 앱을 처리합니다.

• 크롤링
• 렌더링
• 색인 생성

Googlebot은 페이지를 크롤링 및 렌더링하고 페이지의 색인을 생성합니다.

기본 크롤링/보조 크롤링

Google은 모바일 크롤러와 데스크톱 크롤러라는 두 가지 크롤러를 사용하여 웹사이트를 크롤링합니다. 각 크롤러 유형은 해당 유형의 기기로 페이지를 방문하는 사용자를 시뮬레이션합니다.

Google은 사이트에서 한 가지 크롤러 유형(모바일 또는 데스크톱)을 기본 크롤러로 사용합니다. Google에서 크롤링하는 사이트의 모든 페이지는 기본 크롤러로 크롤링됩니다. 모든 새 웹사이트의 기본 크롤러는 모바일 크롤러입니다.

또한 Google은 다른 크롤러 유형(모바일 또는 데스크톱)으로 사이트의 몇몇 페이지를 다시 크롤링합니다. 이를 보조 크롤링이라고 하며, 이를 통해 다른 기기 유형에서 사이트가 얼마나 잘 작동하는지 확인합니다.

크롤링 개선하기

다음과 같은 기술을 사용하면 Google이 내 사이트에서 올바른 페이지를 발견하게 하는 데 도움이 됩니다.

• 사이트맵을 제출합니다.
• 개별 페이지의 크롤링 요청을 제출합니다. (Google에 URL 재크롤링 요청하기)
• 단순한 URL 구조 유지 간결하고 사람이 읽을 수 있는 논리적인 페이지 URL 경로를 사용하고 사이트 내에서 명확하고 직접적인 내부 링크를 제공합니다. 사이트의 URL 구조는 최대한 단순해야 합니다. 콘텐츠를 정리하여 URL을 논리적이고 이해하기 쉬운 방식으로 구성하시기 바랍니다. 가능하면 긴 ID 숫자보다는 읽기 쉬운 단어가 좋습니다. 또한, URL에서 구두점을 사용해 보세요. URL에서 밑줄(_) 대신 하이픈(-)을 사용하는 것이 좋습니다.
• 탐색을 위해 사이트에서 URL 매개변수를 사용하는 경우, 예를 들어 글로벌 쇼핑 사이트에서 사용자의 국가를 명시하는 경우, URL 매개변수 도구를 사용하여 Google에 중요한 매개변수를 알립니다.
• robots.txt를 현명하게 사용합니다. robots.txt를 사용하여 Google이 파악하기를 바라거나 먼저 크롤링하기를 바라는 페이지를 명시합니다. 이는 Google 색인에 자료가 표시되지 못하도록 차단하기 위한 것이 아니라 서버 로드를 보호하기 위한 것입니다.
• hreflang을 사용하여 다른 언어로 된 페이지의 대체 버전을 가리킵니다.
• 표준 페이지와 대체 페이지(중복 URL 통합)를 명확히 파악합니다.
• 색인 생성 범위 보고서를 사용하여 크롤링과 색인 생성 범위를 확인합니다. (구글 콘솔 확인 및 조치)
• Google에서 주요 페이지와 페이지를 렌더링 하는 데 필요한 중요 리소스(이미지, CSS 파일, 스크립트)에 액세스 할 수 있는지 확인합니다.
• 실제 페이지에서 URL 검사 도구를 실행하여 Google이 페이지를 제대로 액세스하고 렌더링 할 수 있는지 확인합니다. URL 검사 도구 정보 (URL 검사 도구는 Google에서 색인을 생성한 특정 페이지 버전과 관련된 정보를 제공합니다. 이 정보에는 AMP 오류, 구조화된 데이터 오류, 색인 문제가 포함됩니다.)

게재 개선하기

• 결과가 특정 위치 또는 언어의 사용자를 대상으로 하는 경우 Google에 선호사항을 알릴 수 있습니다.
• 페이지가 빠르게 로드되며 모바일 친화적인지 확인합니다.
• 일반적인 실수를 피하고 사이트의 순위를 올릴 수 있도록 웹마스터 가이드라인을 따릅니다.
• 레시피 카드나 기사 카트와 같이 사이트에 검색 결과 기능 구현을 고려합니다.
• 휴대기기에서 빠르게 로드될 수 있도록 AMP를 구현합니다. 일부 AMP 페이지는 주요 뉴스 캐러설과 같은 추가 검색 기능을 사용할 수 있습니다.
• Google의 알고리즘은 계속해서 개선되고 있습니다. 알고리즘을 추측하여 이에 맞게 페이지를 설계하려고 하기보다는 사용자가 원하는 양질의 최신 콘텐츠를 제공하기 위해 노력하고 가이드라인을 따르세요.