광고 크롤러 오류발생 수익손실에 관한 메시지 대처방법

 

 

 

 

 최근에 "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 아찔한 메시지를 받은 신 분들이 많습니다. 물론 저도 받았고요. 이 메시지의 정확한 의미와 우리가 대처해야 하는 방법에 대하여 알아보겠습니다. 이 메시지로 머리가 아팠다면 정말 잘 오신 겁니다.

 

 

모니터를 보는 두 여성

 

 

 최근 광고 크롤러 오류에 대한 메시지를 구글로부터 많이 받는데요. 사실 이 메시지는 어느 날 반짝하고 생긴 것이 아니고 구글에서 그동안 꾸준히 보내오던 메시지입니다. 하지만 수익 손실을 언급하니 걱정이 안 된다고 하면 거짓말이겠죠 처음엔 저도 엄청 신경이 쓰였습니다. 그래서 여기저기 많이 알아보고 다녔습니다.

 

---

 

그냥 놔두면 대부분 해결된다.

 

 일단 결론부터 말씀드리면 크게 신경쓸것없이 그냥 놔둬도 된다.입니다. 이게 무슨 개똥 같은 소리냐 하시겠죠. 그렇다면 지금부터 차근차근 이유에 대하여 설명해 보겠습니다. 저는 분명히 결론을 미리 알려드렸습니다. 여기서 돌아나가도 되겠지만 대처방법이 궁금하다면 끝까지 읽어보는 것도 나쁘지는 않습니다. 

 

우선 크롤링이 무언지 알아야 이 오류를 해결할 수 있는데 포털에 검색엔진이 생기면서 각 포털마다 크롤링이란 걸 합니다. 쉽게 설명하면 불특정 한 글을 긁어간다는 의미입니다. 즉 크롤링한다는 것은 웹상의 많은 문서들을 각 포털의 검색엔진에서 가져간다는 의미입니다.  

 

하지만 아무리 포털의 검색엔진이라고 해도 아무거나 가져가게 놔두면 안 되겠죠. 예를 들어 밖에 내놓은 분리수거 쓰레기를 가져가야지 아무나 우리 집에 들어와서 이것저것을 가져가면 안 되겠죠. 물론 우리글이 많은 검색엔진에 검색되기를 바라고 포스팅을 발행합니다.

 

 

 

 

 

우리는 이과정에서 가져가야할 것과 그렇지 않은 것을 일부 승인하고 허락해줍니다. 그것이 바로 발행이겠죠. 노출이 되어야 할 포스팅 등 일부 승인된 것만 가져가도록 허락해줍니다. 아무리 포털의 검색엔진이 크롤링한다고 해도 관리자 페이지 같은 개인적인 공간까지 들어와 정보를 가져간다면 문제가 되겠죠.

 

그러므로 이런 관리자 페이지 등은 자동으로 막혀있습니다. 반면 포스팅 같은 글을 잘 나갈수 있게 승인이 되어있습니다. 그런데 이 과정에서 문제가 생기면 광고 크롤러에 오류가 발생했다고 메시지가 발송되는 겁니다. 그런데 자세히 보면 그냥 크롤링 오류가 아니고 광고 크롤링 오류라과 나옵니다.

 

이유는 애드센스인데요. 애드센스가 우리 사이트를 점검하는 이유는 딱 한가지입니다. 과연 이 사이트에 광고를 실을 수 있을까를 판단하기 위해서입니다. 우리글을 노출시켜준다거나 구글에서 잘 가져갈 수 있게 역할을 한다거나 이런 식으로 생각을 하기도 하는데 그건 아닙니다. 정확히 광고 론칭 여부를 보는 겁니다.

 

그래서 애드센스에서 페이지 크롤링을 하는 이유는 광고를 계속 개제하여도 되는지, 개제 제한을 해야 하는지, 더 나아가계정 정지를 먹여야 하는지, 아니면 정책 위반 사항이 발견되었는지 이렇게 광고랑 관련 있는 것들을 확인하기 위해서 우리 블로그에 있는 것들을 크롤링해가는 겁니다.

 

 

 

 

 

그런데 그런 본연의 의무를 할 수없으니까 해당 사이트의 페이지에 있는 내용들이 광고 론칭 여부를 확신하지 못하게 되고 바로 이런 "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."같은 안내 메시지를 보내게 되는 겁니다.

 

그러면 이 메시지를 자세히 한번 들여다볼까요? 맨 처음 광고 크롤러 오류가 있으며, 여기까지는 확정입니다. 분명히 오류가 있다는 말이죠. 그리고 뒤에 수익 손실이 발생할 수 있습니다. 이 부분은 어떠신가요? 가정이죠. 수익 손실이 발생했다가 아니라 할 수도 있다입니다.

 

그렇다면 이 메시지를 받았다고 해서 꼭 수익 손실이 발생하는 것은 아니란겁니다. 그러면 애드센스에는 왜 이런 메시지를 보낼까요? 그건 애드센스 자체에서도 확신을 하지못하기때문에 정말 수익손실이 발생했을 경우를 대비해 책임회피용으로 보내는 메시지라고 보시면 됩니다.

 

"거봐 내가 미리 얘기했지 광고 크롤링 오류로 수익 손실이 발생할 수 있다고, 나는 분명히 미리 알려줬어." 이와 같이 수익 손실에 대한 책임회피성 메시지라고 보면 됩니다. 사실 아무 문제가 없음에도 보내는 이 같은 메시지의 이면에는 광고 크롤링이 안 되는 게 우리 쪽 문제일 수도 있고 애드센스나 구글 서치 콘솔 쪽의 문제일수도 있습니다.

 

그런데 누군가의 문제가 되어서 진짜로 수익의 손실이 발생했는데 우리 쪽의 문제라면 어쩔 수 없겠지만 만약 애드센스나 구글의 문제로 손실이 발생했다면 그것에 대해 미리 경고하지 않았다면 그것에 대한 책임에서 자유로울 수 없겠죠. 분명 책임소재가 따르게 됩니다.

 

그래서 책임회피용으로 이런 메시지를 보내는 겁니다. 애드센스를 오래 하다 보면 정책센터나 알림으로 이런 유의 메시지가 많이 옵니다. 그런데 확정적인 내용이 있고 오늘 주제처럼 가능성에 대한 내용이 있는 메시지가 있는데 이런 식으로 가능성을 이야기한 메시지는 신경 쓰지 않아도 아무 상관없습니다.

 

 

 

광고 크롤러 오류가 있습니다.

 

 

어떻게 해결하지?

 

 사실 이런 경우는 그냥 기다리면 됩니다. 애드센스의 문제이기 때문에 크게 신경 쓰지 않아도 됩니다. 애드센스가 항상 100%가 아니기 때문에 내부적으로 크롤링이 일시적 오류를 일으킬 때도 있습니다. 그러므로 애드센스 역시 가끔 크롤링하는데 어려움을 겪기도 합니다.

 

더구나 위 사진처럼 해결해야 하는 문제에 "아니요"라고 되어 있다면 솔직히 신경 쓸 거 1도 없습니다. 물론 수익과 연관되어있다 보니 신경이 쓰이긴 할 겁니다. 하지만 특정한 문제가 있는 게 아니라 일시적 오류가 발생했다는 것을 알려주는 것입니다. 일시적인 문제이므로 그냥 무시하고 글 쓰면 됩니다. 

 

그런데 애드센스의 수익이 실제로 떨어졌다면 정말 광고 크롤링의 오류로 떨어진 건지 해당 페이지를 확인해 보면되는데 수익이 떨어질 때가 되어 떨어진건지, 아니면 이제 서서히 순위가 밀리면서 자연스럽게 떨어진건지 확인하면 됩니다. 해당 페이지에서 오류가 나면 어떤 페이지가 오류인지 작업을 클릭하면 알 수 있습니다.

 

 

 

 

 

 

작업 클릭하고 사이트랑 URL 나오는데 들어가서 확인해보면 이전과 똑같은 유입량과 체류시간이 확인되고 또 더 정밀하게 어느 곳을 더 많이 클릭해 봤는지까지 확인했을 때 종전과 똑같은 액션인데 수익이 떨어졌다면 애드센스에서 보낸 메시지처럼 광고 크롤링의 오류 때문일 수 있습니다.

 

아니면 그게 아니라 해당 포스팅의 이슈가 많이 가라앉았다거나 순위가 밀렸다거나 일수 있는데 역시나 유입자와 체류시간을 확인해보면 알 수 있습니다. 또한 꼭 광고 크롤링에 문제가 생겼다는 페이지가 아니라 다른 페이지에서 수익이 떨어지면서 전체적인 시너지를 낼 수도 있습니다. 

 

다양한 문제가 있지만 본인만 아는 문제가 있을 수도 있습니다. 그러므로 광고 크롤링 메시지를 받았다고 무조건 수익일 줄었다고 단정 지을 수는 없습니다. 두 번째는 문제가 있다는 URL에 들어갔을 때 URL에 표시되는 해당 페이지가 안정적으로 나오는지 확인해야 합니다.

 

또 내가 그 페이지를 삭제하거나 비공개로 돌려놓은 경우인데 그렇다 하더라도 구글이나 네이버에서는 여전히 남아있는 글로 인식합니다. 그러니 글을 삭제했다고 복붙 해서 다른 블로그로 그대로 옮기는 것은 절대 해서는 안 됩니다. 바로 유사문서로 필터링될 확률이 크기 때문입니다. 나는 삭제했지만 검색엔진에는 그 데이터가 남아있기 때문입니다. 

 

즉 내가 어떤 포스팅을 했는데 비공개로 해놓았을 때 구글 서치 콘솔에서는 그 글이 정상적으로 있는 줄 알았는데 애드센스 광고 크롤링 때문에 확인을 해봤더니 볼 수가 없다거나 삭제한 경우는 분명 전에는 있었는데 다시 들어왔을 때는 확인이 안 된다거나 하면 문제가 있다고 인식합니다.

 

 

 

 

 

 

그러면 광고를 실어도 되는지 정책 위반 사항이 있는지 확인을 할 수없게 되어버립니다. 그러면 광고 크롤링에 오류가 발생했다는 메시지를 보내게 됩니다. 비공개든 삭제든 다 마찬가지인데 이게 문제가 안되는 것이 시간이 지나면 구글 서치 콘솔에서 알아차리고 다시 정상적으로 풀어주기 때문입니다.

 

또 하나는 해당 페이지에 걸려있는 링크나 동영상의 문제로 오류가 발생하기도 합니다. 사실 없어진 페이지의 링크가 그대로 걸려있는 것은 구글 SEO에서 정말 싫어하는 행위입니다. 예를 들어 보령머드축제 관련 포스팅에서 해당 축제 관련 홈페이지를 링크로 걸어놓았다고 칩시다.

 

그러데 주최 측에서 축제가 끝나고 관련 홈페이지를 폐쇄하거나 삭제한 경우 우리의 포스팅에 걸려있는 링크는 주소를 찾을 수 없는, 즉 구글 SEO에서 봤을 때 상당히 불량한 링크로 인식합니다. 동영상도 마찬가지입니다. 그러므로 내 포스팅의 링크들을 확인해보는 것도 좋은 해결책입니다.

 

내 페이지에 걸려있는 링크가 이미 삭제되어 찾을 수 없는 링크라면 수정하여 삭제하는 것이 맞는데 많은 포스팅의 링크나 동영상을 일일이 확인하기는 현실적으로 상당히 어려운 작업이므로 문제가 된 페이지의 링크를 하나씩 일일이 체크해 보시길 바랍니다.

 

이런 경우도 있습니다. 글을 쓰다 보면 정보를 얻게 되는데 좋은 내용의 글을 쓰기보다 HTML이나 txt나 Robots.txt 같은 것들을 수정하느라 크롤링에 문제가 될만한 것을 잘못 세팅했을 수도 있습니다. 그러니 블로그의 편집보다는 좋은 글을 쓰는 것에 신경을 더 집중하는 편이 수익에 더 가까워지는 길입니다.  

 

마무리해보면 광고 크롤링 오류로 수익의 손실이 발생할 수 있다는 내용의 메시지는 애드센스의 책임회피성 메시지이며 앞으로도 구글이나 애드센스 등에서 이런 메시지를 많이 받게 될 겁니다. 하지만 내용이 확정이 아니라 가정이라면 전혀 신경 쓸 것 없습니다. 우리의 수익은 오직 좋은 글에서만 나온다는 것만 명심하면 됩니다. 감사합니다.

 

 

 

 

 

함께보면 좋은 글 아래 링크에서 바로 확인하세요.

다음 최적화 이것만 알면된다.

 

블로그 글쓰기가 어렵다면 이렇게 쓰면 됩니다.