티스토리 구글 애드센스 크롤러 오류 원인, 해결법

티스토리로 구글 애드센스 승인 겨우 받았는데 언젠가 부터 광고 크롤러 알림이 뜨기 시작했습니다. 승인은 시작이고 정말 산넘어 산이라는 것을 아는 순간입니다. 대체 이 오류는 왜 일어나는지 원인과 수익에 얼마나 영향을 주는지 그리고 해결방법이 있는지에 대해 상세히 알아보는 시간을 가지려고 합니다. 

contents

크롤러란? 크롤링이란?

구글 애드센스 상단 문구

앞서 먼저 알아야 할게 있습니다. 다들 위와 같은 문구가 떠서 보실텐데 광고 크롤러 오류라는 것이  무엇인지는 알아야 다음에도 이해라도 할 수 있을 것입니다. 크롤러가 대체 뭘까요?

 

구글에서는 크롤러를 검색해보면 간단하게 로봇 또는 스파이더라고 명시를 해놓았습니다. 또한 웹페이지 연결 링크나 웹사이트를 자동으로 검색하는데 이용되는 프로그램을 말한다고 이야기합니다. 그리고 뒤에 간략하게 크롤러를 구글 봇이라고 말하다고 이야기합니다.

 

크롤러 = 로봇, 스파이더 = 구글 봇으로 정리하며 우리가 통상 구글이 우리를 감시한다 우리를 지켜본다라고 할 때 그 지켜보며, 감시하는 매체가 이 크롤러라는 것입니다.

근데 이 크롤러와 함께 크롤링이라는 말도 쓰이는데 그럼 크롤링은 무엇 일까요?

인터넷에는 많은 양의 데이터가 존재하고, 이를 활용하는 필요성이 높아졌습니다. 이를 위해 데이터를 수집하고 이를 쉽게 분석하고 활용하기 위한 행위를 크롤링이라고 합니다. 크롤링하는 프로그램은 크롤러라고 부릅니다.

결국 구글봇은 크롤링하는 크롤러 중의 하나이며, 로봇인 것으로 또 정리가 가능할 것입니다.

 

크롤링과 스크래핑은 서로 다른 개념이지만, 종종 혼동되어 사용됩니다. 크롤링은 여러 웹사이트의 페이지를 브라우징하는 작업을 의미합니다. 그러나 대개의 경우에는 페이지 안에 있는 데이터를 추출하고 가공하는 것이 목표입니다. 결국, 크롤링은 스크래핑의 일부라고 할 수 있습니다.

크롤러 오류 원인

위에서 크롤러에 대해 알아봤으니 이제 광고 크롤러 오류라는 의미를 알 수 있을 것입니다. 이를 풀어서 얘기해보면 광고 구글봇이 오류가 있었다는 의미 입니다. 그러면 구글 봇이 오류가 생긴 이유가 있고 거기에 대한 수익에 문제가 생길 수가 있다는 알림을 우리에게 보냈다는 것인데, 대체 이 문제는 왜 생긴 것인가요? 아래가 현재 제가 처했었던 첫 크롤러 문제 였던 그림입니다. 

어제 새로썼던 글...

광고 자체가 뜨지 않습니다.[ 물론 지금은 온전히 해결된 상황이지만 크롤러 오류 뜨고 정말 당황해서 블로그 글도 못쓰고, 손 놓고 바라만 보고 있었습니다.

구글 애드센스 고객센터에서는 애드센스 크롤러 문제 해결에 관련해 다음과 같이 이야기 하고 있었습니다. 

크게 세가지로 분류를 하고 있었는데요.

1.액세스 

액세스 문제란 광고가 나타날 수 있도록 접속이 제한되고 있는 상황이라고 보시면 되겠습니다. 구글에서는 사이트 로그인이 필요하다 또는 ip 범위가 제한되어 있다 또는 robots.txt 파일에 광고 크롤러가 차단되는 사항을 확인하라고 되어 있습니다. 이 말들 전부가 ' 당신 블로그에 광고가 못 올라가게끔 조치가 취해지고 있습니다'라는 것을 길게 얘기하고 있는 것입니다. 

2. 호스팅 

호스팅 문제는 보통 서버를 말합니다. 우리는 티스토리를 이용하기때문에 우리가 서버를 만질 수 있는 사람은 아무도 없을 것입니다. 티스토리에 우리는 서버를 두고 하고 있기에 이것은 어떻게 보면 티스토리 서버에 문제가 있다는 이야기 일 것입니다. 하지만 이런 경우가 흔치는 않습니다. 그래서 우리가 아는 일반적인 경우는 아니라는 것입니다. 또한 우리가 어떻게 할 방법도 없습니다. 티스토리에서 서버점검이나 로그인이 안되는 불상시에 일어날 수 있는 일이니까요.

 

3. 사이트

이 부분은 url이나 도메인 즉 사이트 자체에서 발생할 수 있는 부분들 입니다. 구글 봇이 '당신 집을 못찾겠어 어딨는 거야' 혹은 '당신집이 어떤 거야 여러개로 됬는데?' 이런 식이 된 겁니다. 원래 찾아 들어가던 곳이 있었는데, 다음에 와보니 못찾겠다는 이야기를 한다고 보면 되겠습니다. 

포스팅을 몇개하다가 갑자기 도메인을 입힌다거나 또는 글의 도메인 순서를 문자에서 숫자로 갑자기 변경한다거나 하면 찾던 봇이 주소가 바뀐 것을 보게 되고 알림을 던지는 것입니다. 색인이 생성되지 않았을 수도 있는 것입니다.

 

해결법

저 페이지에 문제가 있다고 나옴

위와 같이 메시지가 팝업된 상황에서 작업이라는  버튼을 누르게 되면 해당 글에 문제가 있다고 상태를 알려주게 됩니다. 위에서 문제라고 되어 있는 곳을 보면 크롤러가 페이지를 찾을 수 없음이라고 되어 있는 것이 보입니다, 위의 크롤러와 크롤링이 무엇인지에 대해 보셨다면 이제는 무슨 문제인지 조금 보이실 겁니다. 페이지를 못찾겠다고 구글 봇이 말해주는 겁니다. 근데 위의 91번 글은 제가 2020년 4월에 적었던 글로 해당 다음날 오류가 떴었던 것으로 구글에 올라가지도 않은 글이라 오류 알림이 왔을 가능성이 크다고 볼 수 있습니다. 또한 해결해야하는 문제에는 아니요라고 적혀 있는 것을 확인 할 수 있습니다. 제가 대처해야 할 방법은 없다는 것입니다.  

대체로 이런식입니다. 저부분들만 해결해준다면 그냥 두어도 자연히 해결 될 문제 인 것이죠. 저는 저상태로 이틀뒤부터 다시 광고 게재가 되는 것을 확인 했습니다. 하지만 그래도 대처 방안이 있었으면 하시는 분들이 계시죠? 또한 저와 완전히 같지 않을 수 있습니다. 그래서 아래의 방법이 더 있으니 참고 하시면 되겠습니다.

 

1.색인 생성 요청

구글 서치 콘솔에서 해당 페이지의 색인을 생성하는 것이 좋습니다.

▲ 해당 페이지를 적고 색인 생성 요청을 클릭하시면 몇분 뒤에 색인 요청이 되었다는 메시지가 생성될 것입니다. 그러면 몇일 뒤에 해결이 되었을 가능성이 대폭 상승되어 있을 겁니다. 

url, 사이트 확인

문구가 생성되기 전날 url 관련 사항들에 다른 설정을 하셨는지 확인이 필요 합니다.

저의 경우 숫자로 생성되던 포스팅 url을 문자로 바꾼 적이 있었는데, 크롤러 오류와 함께 해당하는 페이지가 무려 200개 전부다 해당한다는 문구를 봤었는데, url을 이런식으로 갑작스럽게 바꾸어 버리면 크롤러는 알림을 던져 버릴 수 있습니다. 해보신 분들을 아실 텐데 기존 바꾸기전의 url도 접속되고 문자로 된 페이지도 동시에 접속이 됩니다. 문자로 된 부분이 구글 자체에 바로 올라가지도 못하고 기존과 같은 상황이 되려면 적어도 몇달이 필요하다는 이야기가 있습니다. 저는 다시 원상태인 숫자로 티스토리 설정을 바꿔 놓으니 정상적으로 돌아오긴 했으나 불안한 상황이 되었습니다. 그래서 블로그를 처음 시작할 때 신중히 설정을 하시는게 좋을 것 같습니다. 

 

그리고, 도메인을 여러 글을 적어놓은 상태에서 개인 도메인을 설정한다거나 빼버린다면, 비슷한 상황이 발생할 수 있습니다. 

 

 

그리고 예전에도 한번 이런 식으로 썻던 기억이 있는 글이 있는데요.

이 아래 글은 심지어 넘버링 6번글입니다.

 <설계 프로그램 개인,그룹 과외> 캐드, 스케치업, 루미온 초보 전용개인과외

<설계 프로그램 개인,그룹 과외> 캐드, 스케치업, 루미온 초보 전용개인과외

제가 새로 수정하면서 일시를 현재로 하고 70번대 사이에 끼게 되었는데

이 글이 가끔 광고가 안떴다가

나중에 또 보면 떠있고 이런 현상이 자주 발생하더군요.

요즘 이 또한 같은 문제인가... 하고 있습니다... ㅜ.ㅠ

무섭네요

 

 

 

글봐주셔서 고맙습니다.

구독, 좋아요 

한번씩만 눌러주시면 저에게 큰 힘이 되겠습니다.

(비로그인도 구독, 좋아요됩니다~ 맘껏 눌러주세요)