본문 바로가기

이전 데이터/인터넷 공부

Fetch as Google 도구

도메인이 변경되어서 나타나는 현상 같습니다.






웹사이트용 Fetch as Google 사용

Fetch as Google 도구를 사용하면 Google에서 사이트의 URL을 크롤링하거나 렌더링하는 방식을 테스트할 수 있습니다. Fetch as Google을 사용하여 Googlebot이 내 사이트 페이지에 액세스할 수 있는지, 어떻게 페이지를 렌더링하는지, 페이지 리소스(예: 이미지, 스크립트)가 Googlebot을 차단하는지 확인할 수 있습니다. 이 도구는 크롤링 및 렌더링 실행을 Google의 일반적인 크롤링 및 렌더링 프로세스에서 이뤄지는 것처럼 시뮬레이션하여 사이트의 크롤링 문제를 디버깅하는 데 유용합니다.

사이트용 FETCH AS GOOGLE 열기

모바일 앱의 경우에는 앱용 Fetch as Google 도구를 사용합니다.

가져오기 실행

  1. 사이트 루트와 관련하여 Googlebot이 가져올 수 있도록 하려는 사이트 URL의 경로 구성요소를 텍스트 상자에 입력합니다. 텍스트 상자를 빈칸으로 두면 사이트 루트 페이지를 가져옵니다. 예를 들어 현재 속성이 http://example.com인 경우 stores/indiana/1234.html을 요청하면 http://example.com/stores/indiana/1234.html을 가져옵니다.
    가져오기 제한:
    • 가져오는 URL은 현재의 사이트만 가능합니다. 예를 들어 현재 Search Console 속성이 http://example.com인 경우 https://example.com 또는 http://m.example.com에서 URL을 가져올 수 없습니다.
    • 가져오기는 쿠키, 로그인 정보 또는 기타 상태 정보는 전송하지 않습니다.
    • 가져오기는 리디렉션을 따르지 않습니다. 리디렉션이 있는 페이지를 가져오는 경우 아래 '리디렉션됨' 가져오기 상태 설명에 명시된 대로 직접 리디렉션을 따라야 합니다.
  2. 가져오기를 수행하고 싶은 Googlebot의 유형을 선택할 수도 있습니다. 결과적으로 가져오기를 수행하는 크롤러와 가져오기에 사용하는 렌더링 및 렌더링 요청에도 영향을 미칩니다. 사용할 수 있는 유형은 다음과 같습니다.
    1. 데스크톱 [기본] -
      • 웹사이트의 경우 Googlebot 크롤러를 사용합니다.
      • 뉴스의 경우 Googlebot 크롤러를 사용합니다(Googlebot 뉴스 아님).
      • 이미지의 경우 Googlebot 이미지 크롤러를 사용합니다.
      • 동영상의 경우 Googlebot 동영상 크롤러를 사용합니다.
      • 애드센스 코드가 포함된 페이지의 경우 Google 애드센스 크롤러를 사용합니다.
      • 광고 방문 페이지의 경우 Google AdsBot 크롤러를 사용합니다.
    2. 모바일: 스마트폰 - Google 스마트폰 크롤러를 사용합니다.
    3. 모바일: cHTML [대부분 일본 피처폰의 하위 집합]. DoCoMo Google 모바일 크롤러를 사용합니다. 렌더링은 지원되지 않습니다.
    4. 모바일: XHTML/WML [모바일: cHTML에 포함되지 않는 피처폰] 삼성 XHTML/WML 크롤러를 사용합니다. 렌더링은 지원되지 않습니다.
  3. 가져오기 또는 가져오기 및 렌더링을 클릭합니다.
    • 가져오기: 사이트에서 지정된 URL을 가져오고 HTTP 응답을 표시합니다. 페이지에서 연관된 리소스(예: 이미지, 스크립트)를 요청하거나 실행하지 않습니다. 이는 사이트와 관련된 의심스러운 네트워크 연결이나 보안 문제를 확인 또는 디버깅하고 요청의 성패를 확인할 때 비교적 신속하게 사용할 수 있는 작업입니다.
    • 가져오기 및 렌더링: 사이트에서 지정된 URL을 가져오고 HTTP 응답을 표시하고 지정된 플랫폼(데스크톱 또는 스마트폰)에 따라 페이지를 렌더링합니다. 이 작업은 페이지의 모든 리소스(예: 이미지, 스크립트)를 요청 및 실행합니다. 이렇게 해서 Googlebot에서 페이지를 인식하는 방법과 사용자가 페이지를 보는 방법 간의 시각적 차이를 감지합니다.
  4. '대기 중' 상태인 요청이 가져오기 내역 표에 추가됩니다요청이 완료되면 행에 요청의 성패와 기본 정보가 표시됩니다. 원본 HTTP 응답 헤더 및 데이터, (가져오기 및 렌더링 요청의 경우) 차단된 리소스 목록 및 렌더링된 페이지 보기 등과 같은 요청 관련 세부 정보를 보려면 표에서 실패하지 않은 가져오기 행을 클릭합니다.
  5. 요청이 완료되고 4시간이 지나지 않은 경우 가져온 페이지를 다시 크롤링하고 가능하다면 다시 색인을 생성하도록 Google에 요청할 수 있으며, 가져온 페이지에서 연결되는 다른 페이지에 대해서도 요청할 수 있습니다.

주당 가져오기 한도는 500회입니다. 한도에 가까워지면 페이지에 알림이 표시됩니다.

가져오기 요청 상태

메인 페이지의 가져오기 내역 표에는 최근 가져오기 요청 100개가 표시됩니다. 완료된 가져오기에 대한 세부정보를 보려면 가져오기 내역 표에서 해당 행을 클릭합니다. 가져오기 요청 상태는 다음과 같이 표시됩니다.

  • 완료: Google에서 성공적으로 사이트에 접촉하여 페이지를 크롤링했으며 페이지에서 참조하는 모든 리소스를 가져올 수 있습니다. 가져오기 결과에 대해 더 자세히 알아보려면 표에서 열을 클릭하세요.
  • 일부 완료: Google에서 사이트의 응답을 받고 URL을 가져왔지만 리소스가 robots.txt 파일에 의해 차단되었기 때문에 페이지에서 참조하는 일부 리소스에 도달하지 못했습니다. 가져오기만 요청하는 경우 가져오기 및 렌더링을 수행하세요. 렌더링된 페이지를 조사하여 중요한 리소스가 차단되어 Google에서 페이지의 의미를 제대로 분석할 수 없지는 않은지 알아보세요. 중요한 리소스가 차단된 경우 소유한 robots.txt 파일에서 해당 리소스를 차단 해제하세요. 소유하지 않은 robots.txt 파일에 의해 차단된 리소스의 경우, 리소스 사이트 소유자에게 해당 리소스를 Googlebot에 대해 차단 해제할 것을 요청하세요. 리소스 가져오기 오류 설명 목록을 참조하세요.
  • 리디렉션됨: 서버가 리디렉션에 응답했습니다. Fetch as Google 도구는 리디렉션을 따라가지 않습니다. 실제 Google 크롤러는 리디렉션을 따르지만 Fetch as Google 도구는 따르지 않습니다. 다음과 같이 직접 리디렉션을 따라야 합니다.
    • 같은 속성으로 리디렉션되는 경우 가져오기 상자에 리디렉션 URL이 채워져 도구에 빠르게 리디렉션을 따라갈 수 있는 버튼이 표시됩니다.
    • URL이 내가 보유하고 있는 다른 속성으로 리디렉션되는 경우 '따라가기'를 클릭하여 URL 상자를 자동으로 채운 다음, URL을 복사하고 보기를 새로운 사이트로 전환하여 URL을 가져오기 상자에 붙여넣을 수 있습니다.
    가져오기 세부정보 페이지에서 HTTP 응답을 검사하여 리디렉션 세부정보를 확인할 수 있습니다. HTTP 오류 코드를 찾아서 자세히 알아보세요. 리디렉션은 서버, 메타태그 또는 페이지 자체의 자바스크립트에 의해 트리거될 수 있습니다.
  • 특정 오류 유형 ... 모든 리소스 유형 가져오기 오류는 전체 페이지 가져오기 요청에도 적용될 수 있으며, 상태 열에 표시될 수 있습니다. 예: 찾을 수 없음 또는 연결할 수 없음

리소스 가져오기 오류

가져오기 요청 상태가 일부 완료인 경우 해당 요청을 클릭하여 요청 세부정보 페이지를 여세요. 발생한 오류가 페이지의 표에 열거됩니다. 일반적으로 이러한 오류는 페이지에서 차단된 리소스로 인해 발생합니다. 다음과 같은 리소스 오류가 가져오기 요청에서 발생할 수 있습니다.

상태설명참고 및 다음 단계

찾을 수 없음

리소스를 찾을 수 없음(404 또는 410 HTTP 응답 코드)

이 오류는 웹브라우저를 사용하여 페이지에 액세스할 때 HTTP 404 오류 코드가 표시될 수 있음을 나타냅니다.

권한 없음

Googlebot이 페이지에 액세스할 수 있는 권한이 없음(예: 페이지에서 비밀번호를 요청하는 경우)

이 오류는 웹 브라우저를 사용하여 페이지에 액세스할 때 HTTP 403 오류 코드가 표시될 수 있음을 나타냅니다.

DNS를 찾을 수 없음

도메인 이름을 찾지 못해서 Google에서 리소스를 가져올 수 없음

Google에서 사이트 서버를 찾을 수 있도록 도메인 이름(예: www.example.com)을 올바르게 입력합니다.

차단됨

리소스 호스트가 robots.txt 파일을 통해 Googlebot 액세스를 차단하고 있음

차단된 리소스는 Google이 페이지를 이해하는 데 영향을 미칠 수 있으며, 특정 검색어의 페이지 순위에도 영향을 미칠 수 있습니다. Google이 페이지를 이해할 때 리소스의 중요도를 예측하는 다음과 같은 심각도 값이 차단된 리소스에 포함되어 있습니다.

  • 낮음: 누락된 리소스가 페이지 렌더링에 거의 영향을 미치지 않습니다.
  • 중간: 누락된 리소스가 페이지 렌더링에 어느 정도 영향을 미칩니다. 가져온 페이지를 조사하여 Google이 페이지를 이해하는 데 영향을 미칠 만큼 누락된 내용이 많거나 실제 페이지와 크게 차이 나는지 확인하세요.
  • 높음: 누락된 리소스가 렌더링된 페이지에 큰 영향을 미치며, Google의 페이지 색인 생성 방식을 변경할 수 있습니다.
  • --(더블 대시): 해당 오류는 차단된 리소스가 아닙니다.

이 오류는 robots.txt 파일을 업데이트하여 수정할 수 있습니다. 사이트 주소가 루트 도메인 수준(예를 들어www.example.com/my_site/가 아니라 www.example.com)인 경우, robots.txt 테스터 도구를 사용하여 URL이 Google에서 차단된 이유를 진단할 수 있습니다.

robots.txt에 연결할 수 없음

Googlebot이 리소스 호스트의 robots.txt 파일에 도달할 수 없음. 이 경우 Google은 해당 호스트에서 리소스를 로드하지 않음

이 문제를 해결하려면 도움말 센터에서 robots.txt 파일 만들고 테스트하는 방법에 관한 도움말을 읽어보세요.

연결할 수 없음

리소스 호스트가 응답하는 데 시간이 너무 오래 걸리거나 요청을 거부함

서버가 설정되어 실행 중인지 확인합니다.

일시적으로 연결할 수 없음

1) 서버가 응답하는 데 시간이 너무 오래 걸려 Fetch as Google에서 현재 URL을 가져올 수 없음

또는

2) 여러 URL에 대한 요청이 서버에 연속적으로 너무 많이 들어와 Fetch as Google에서 가져오기를 취소함

Google 전체가 URL에 도달할 수 없는 게 아니라 Fetch as Google 시뮬레이션 도구만 도달할 수 없는 것입니다.

오류

알 수 없는 오류로 인해 Google에서 가져오기를 완료하지 못함

이 오류가 다시 발생하면 Search Console 제품 지원팀에 문의하세요.