도메인이 변경되어서 나타나는 현상 같습니다.
웹사이트용 Fetch as Google 사용
Fetch as Google 도구를 사용하면 Google에서 사이트의 URL을 크롤링하거나 렌더링하는 방식을 테스트할 수 있습니다. Fetch as Google을 사용하여 Googlebot이 내 사이트 페이지에 액세스할 수 있는지, 어떻게 페이지를 렌더링하는지, 페이지 리소스(예: 이미지, 스크립트)가 Googlebot을 차단하는지 확인할 수 있습니다. 이 도구는 크롤링 및 렌더링 실행을 Google의 일반적인 크롤링 및 렌더링 프로세스에서 이뤄지는 것처럼 시뮬레이션하여 사이트의 크롤링 문제를 디버깅하는 데 유용합니다.
모바일 앱의 경우에는 앱용 Fetch as Google 도구를 사용합니다.
가져오기 실행
- 사이트 루트와 관련하여 Googlebot이 가져올 수 있도록 하려는 사이트 URL의 경로 구성요소를 텍스트 상자에 입력합니다. 텍스트 상자를 빈칸으로 두면 사이트 루트 페이지를 가져옵니다. 예를 들어 현재 속성이
http://example.com
인 경우stores/indiana/1234.html
을 요청하면http://example.com/stores/indiana/1234.html
을 가져옵니다.가져오기 제한:- 가져오는 URL은 현재의 사이트만 가능합니다. 예를 들어 현재 Search Console 속성이
http://example.com
인 경우https://example.com
또는http://m.example.com
에서 URL을 가져올 수 없습니다. - 가져오기는 쿠키, 로그인 정보 또는 기타 상태 정보는 전송하지 않습니다.
- 가져오기는 리디렉션을 따르지 않습니다. 리디렉션이 있는 페이지를 가져오는 경우 아래 '리디렉션됨' 가져오기 상태 설명에 명시된 대로 직접 리디렉션을 따라야 합니다.
- 가져오는 URL은 현재의 사이트만 가능합니다. 예를 들어 현재 Search Console 속성이
- 가져오기를 수행하고 싶은 Googlebot의 유형을 선택할 수도 있습니다. 결과적으로 가져오기를 수행하는 크롤러와 가져오기에 사용하는 렌더링 및 렌더링 요청에도 영향을 미칩니다. 사용할 수 있는 유형은 다음과 같습니다.
- 데스크톱 [기본] -
- 웹사이트의 경우 Googlebot 크롤러를 사용합니다.
- 뉴스의 경우 Googlebot 크롤러를 사용합니다(Googlebot 뉴스 아님).
- 이미지의 경우 Googlebot 이미지 크롤러를 사용합니다.
- 동영상의 경우 Googlebot 동영상 크롤러를 사용합니다.
- 애드센스 코드가 포함된 페이지의 경우 Google 애드센스 크롤러를 사용합니다.
- 광고 방문 페이지의 경우 Google AdsBot 크롤러를 사용합니다.
- 모바일: 스마트폰 - Google 스마트폰 크롤러를 사용합니다.
- 모바일: cHTML [대부분 일본 피처폰의 하위 집합]. DoCoMo Google 모바일 크롤러를 사용합니다. 렌더링은 지원되지 않습니다.
- 모바일: XHTML/WML [모바일: cHTML에 포함되지 않는 피처폰] 삼성 XHTML/WML 크롤러를 사용합니다. 렌더링은 지원되지 않습니다.
- 데스크톱 [기본] -
- 가져오기 또는 가져오기 및 렌더링을 클릭합니다.
- 가져오기: 사이트에서 지정된 URL을 가져오고 HTTP 응답을 표시합니다. 페이지에서 연관된 리소스(예: 이미지, 스크립트)를 요청하거나 실행하지 않습니다. 이는 사이트와 관련된 의심스러운 네트워크 연결이나 보안 문제를 확인 또는 디버깅하고 요청의 성패를 확인할 때 비교적 신속하게 사용할 수 있는 작업입니다.
- 가져오기 및 렌더링: 사이트에서 지정된 URL을 가져오고 HTTP 응답을 표시하고 지정된 플랫폼(데스크톱 또는 스마트폰)에 따라 페이지를 렌더링합니다. 이 작업은 페이지의 모든 리소스(예: 이미지, 스크립트)를 요청 및 실행합니다. 이렇게 해서 Googlebot에서 페이지를 인식하는 방법과 사용자가 페이지를 보는 방법 간의 시각적 차이를 감지합니다.
- '대기 중' 상태인 요청이 가져오기 내역 표에 추가됩니다. 요청이 완료되면 행에 요청의 성패와 기본 정보가 표시됩니다. 원본 HTTP 응답 헤더 및 데이터, (가져오기 및 렌더링 요청의 경우) 차단된 리소스 목록 및 렌더링된 페이지 보기 등과 같은 요청 관련 세부 정보를 보려면 표에서 실패하지 않은 가져오기 행을 클릭합니다.
- 요청이 완료되고 4시간이 지나지 않은 경우 가져온 페이지를 다시 크롤링하고 가능하다면 다시 색인을 생성하도록 Google에 요청할 수 있으며, 가져온 페이지에서 연결되는 다른 페이지에 대해서도 요청할 수 있습니다.
주당 가져오기 한도는 500회입니다. 한도에 가까워지면 페이지에 알림이 표시됩니다.
가져오기 요청 상태
메인 페이지의 가져오기 내역 표에는 최근 가져오기 요청 100개가 표시됩니다. 완료된 가져오기에 대한 세부정보를 보려면 가져오기 내역 표에서 해당 행을 클릭합니다. 가져오기 요청 상태는 다음과 같이 표시됩니다.
- 완료: Google에서 성공적으로 사이트에 접촉하여 페이지를 크롤링했으며 페이지에서 참조하는 모든 리소스를 가져올 수 있습니다. 가져오기 결과에 대해 더 자세히 알아보려면 표에서 열을 클릭하세요.
- 일부 완료: Google에서 사이트의 응답을 받고 URL을 가져왔지만 리소스가 robots.txt 파일에 의해 차단되었기 때문에 페이지에서 참조하는 일부 리소스에 도달하지 못했습니다. 가져오기만 요청하는 경우 가져오기 및 렌더링을 수행하세요. 렌더링된 페이지를 조사하여 중요한 리소스가 차단되어 Google에서 페이지의 의미를 제대로 분석할 수 없지는 않은지 알아보세요. 중요한 리소스가 차단된 경우 소유한 robots.txt 파일에서 해당 리소스를 차단 해제하세요. 소유하지 않은 robots.txt 파일에 의해 차단된 리소스의 경우, 리소스 사이트 소유자에게 해당 리소스를 Googlebot에 대해 차단 해제할 것을 요청하세요. 리소스 가져오기 오류 설명 목록을 참조하세요.
- 리디렉션됨: 서버가 리디렉션에 응답했습니다. Fetch as Google 도구는 리디렉션을 따라가지 않습니다. 실제 Google 크롤러는 리디렉션을 따르지만 Fetch as Google 도구는 따르지 않습니다. 다음과 같이 직접 리디렉션을 따라야 합니다.
- 같은 속성으로 리디렉션되는 경우 가져오기 상자에 리디렉션 URL이 채워져 도구에 빠르게 리디렉션을 따라갈 수 있는 버튼이 표시됩니다.
- URL이 내가 보유하고 있는 다른 속성으로 리디렉션되는 경우 '따라가기'를 클릭하여 URL 상자를 자동으로 채운 다음, URL을 복사하고 보기를 새로운 사이트로 전환하여 URL을 가져오기 상자에 붙여넣을 수 있습니다.
- 특정 오류 유형 ... 모든 리소스 유형 가져오기 오류는 전체 페이지 가져오기 요청에도 적용될 수 있으며, 상태 열에 표시될 수 있습니다. 예: 찾을 수 없음 또는 연결할 수 없음
리소스 가져오기 오류
가져오기 요청 상태가 일부 완료인 경우 해당 요청을 클릭하여 요청 세부정보 페이지를 여세요. 발생한 오류가 페이지의 표에 열거됩니다. 일반적으로 이러한 오류는 페이지에서 차단된 리소스로 인해 발생합니다. 다음과 같은 리소스 오류가 가져오기 요청에서 발생할 수 있습니다.
'이전 데이터 > 인터넷 공부' 카테고리의 다른 글
Sitemap이란 무엇입니까? (0) | 2016.02.14 |
---|---|
"실제로 가장 많이 사용되고 있는 최상위 도메인은 net이다." (0) | 2016.02.13 |
크롤링 통계 (0) | 2016.02.10 |
크롤링(Crawling) 머지... 크롤링알아보자.. (0) | 2016.02.10 |
모바일용 애드센스 (0) | 2016.02.10 |