'크롤러: 호스팅 서버에 연결할 수 없음 문제' 해결방법 (애드센스 정책센터 오류)

애드센스 관련 문제는 오랜만에 포스팅 하네요. 

최근에 크롤러: 호스팅 서버에 연결할 수 없음 문제 외 문제 1개 더 있음 이슈가 생겼습니다.

 

+ 내용 추가 2022년 9월 29일

(크롤러 호스팅 서버 과부하 이 문제도 최근에 발생하고 있네요.)

 

아무래도 정책 관련해서 이슈가 나오면 광고 노출도 줄고 수익도 줄 수 있다는 말이 신경쓰이게 됩니다.

저도 이 문제 해결을 위해 해결방법을 수집하고 공유하려고 합니다.

처음에는 일반적으로 검색을 통해서 얻은 정보를 마지막에는 제가 경험한 부분에 대해서 적어놓을께요.

 

* 크롤러는 구글 봇을 말하는데 검색로봇이 검색할 페이지를 찾는것을 의미합니다.

---

반응형

 

---

[구글 애드센스 팀이 말하는 크롤러 오류 이슈 문제 해결 방법]

액세스 문제, 사이트 문제, 서버 문제 3가지로 나눠서 말하고 있습니다.

 

구글 애드센스 크롤러 문제 해결 페이지

https://support.google.com/adsense/answer/2381908?hl=ko 

이 중에서  티스토리에서 발생할 수 있는 문제는 빨간색으로,
일반적인 경우(예: 워드프레스)는 회색으로 나눠서 설명했습니다.

 

1. 액세스 문제

1) 로그인이 필요한 페이지에 광고가 뜨는 경우 크롤러 오류 발생 가능함 -> 크롤러 로그인 설정 필요

2) 엑세스 지역이나 ip 범위 제한을 둘 경우 크롤러 이슈 발생 -> 제한 해제 필요

3) robots.txt 파일에서 광고 크롤러 차단 -> robots.txt에서 광고 크롤러 허용 필요

 

위 3가지 이슈 모두 티스토리에서는 제한 할 수 없거나 접근 할 수 없는 부분이라 문제가 있다고 해도 해결 할수 없는 문제 입니다. 아마 문제가 발생 되면 티스토리 전체적으로 발생할 것으로 예상됩니다.

 

2. 사이트 문제 

1) 사이트를 찾을 수 없는 문제 -> 크롤러가 사이트 콘텐츠에 접근 할수 없을 때 발생, 또는 페이지가 없어진 경우

 

2) 새로운 컨텐츠에서 발생 -> 시간을 두고 기다리면 해결 된다고 합니다. 

대부분은 이 경우일 가능성이 높다고 생각합니다.

 

크롤링이 되지 않은 사이트에 광고가 나오는 경우가 있고 이렇게 되면 크롤러 오류 메시지가 나온다고 하네요. 

 

🚩해결방법:

이때에는 마냥 기다릴 필요는 없고 직접 서치콘솔에서 확인해 보세요.

1) 서치 콘솔에 접속

2) URL검사를 통해 URL을 등록하셨는지 확인

3) 색인 생성 요청을 하면 됩니다. 

그러면 크롤러가 크롤링을 다시 하고 캐시를 공유 할 가능성이 있다고 합니다. 

 

2019.11.26 - [・디지털 백과/블로그&애드센스] - 내 사이트가 구글(네이버)에서 검색이 되나 확인하는 간단 방법

 

기다려도 되지만 직접 가서 한번 확인해 보는게 좋은 이유는

개별 글에 대해서 발생하는 크롤로 오류가 아니라 페이지 전체적으로 발생하는 경우도 있기 때문입니다.

아예 구글 서치 콘솔에서 연결이 해제 되어 엑세스 할 수 없는 경우도 있기 때문입니다.

이때에는 소유권 확인을 통해서 본인의 블로그를 서치콘솔에 다시 연결을 해주어야 합니다. 

 

2020.01.27 - [・디지털 백과/블로그&애드센스] - 티스토리 블로그 구글 검색 등록 방법 (RSS 설정)

 

3) 여러 리디렉션을 사용하는 이슈 -> 일반적인 티스토리 블로거의 경우 발생되지 않는 이슈 입니다.

(몇개의 리디렉션을 사용한다고 발행하는 문제는 아닙니다.)

 

4) 개인화된 페이지 URL 사용 -> 로그인 사용자 정보나 기타 정보를 포함한 주로 등을 말하는데 티스토리와는 상관이 없는 이슈 입니다.  

 

5) POST 데이터를 사용하는 경우 -> 일반적인 티스토리 블로거의 경우 발생되지 않는 이슈 입니다.

 

 

3. 호스팅 문제 

1) 사이트의 네임서버에 문제가 있는 경우 

2) 사이트 서버에 문제가 있는 경우

두 경우 모두 티스토리에 문제가 있을 수 있는 경우로 사용자가 할 수 있는 부분이 없고 전체적으로 또는 다수에게서 발생될 가능성이 있기에 회사차원에서 빠르게 수정을 할것이라고 생각합니다. 

(특정 개인에게 발생될 가능성도 있으니 다량의 포스트에 문제가 장기간 발생 되면 티스토리에 문의해 보세요.)

 

[티스토리 크롤러 오류 해결 방법 정리]

1. 서치콘솔에 URL을 검사하고 색인 요청을 한다. (대부분의 사람들이 제안하는 방법입니다.)

2. 크롤러가 찾는데 약간의 시간이 필요하다. 일단 놔둬 본다.

3. 새글을 작성해서 다시 서치콘솔에 등록을 한다. (1번, 2번으로 해결 될 수 있으니 기다려 보시고 안되면 선택하세요.)

4. 티스토리 혹은 구글에 문의한다. (티스토리는 모르겠지만 구글에서는 왠만하면 답변을 받기 어려울거에요.)

혹 다른 방법을 찾게 되면 내용을 업데이트 할께요. 

 

+크러 호스팅 서버 과부하 내용 추가

크롤러 호스팅 서버 과부하 문제도 현재는 별다른 조치를 취하지 않고 있습니다. 

티스토리에 문의 해보았는데 있을 수 있는 문제이며 시간이 지나면 해결될거라고 하네요.