애드센스 광고 크롤러 오류로 인한 손실 이란? 개념과 조치방법

50대 중년 아빠인 장기적으로 책을 내기 위한 목적으로

티스토리 블로그를 하고 있지만, 그래도 애드센스 등록을

해놓아서 아주 미미하지만 수익이 발생한다.

 

근데, 얼마 전에 구글 메일로 '광고 크롤러 오류가 있으며,

이 때문에 수익 손실이 발생할 수 있습니다.'라는 경고성

알림이 도착했다.

무슨 내용인지는 잘 모르지만 좋은 얘기는 아닌 것 같아서

광고 크롤러 오류가 무엇이고 어떻게 해결해야 하는지

알아보려고 한다.

 

광고 크롤러가 무엇인가?

   애드센스의 광고 크롤러는 웹페이지를 자동으로 탐색하여

적절한 광고를 게재할 위치를 파악하는 역할을 한다.

그러나 크롤러가 웹페이지에 접근하지 못하면 광고가

제대로 표시되지 않으며 광고 수익 감소가 발생할 수 있다.

ㅇ 웹 크롤링 : 웹 페이지를 자동으로 탐색해준다.

ㅇ HTML 분석 : 광고를 삽입할 수 있는 최적의 위치를

   찾아준다.

 

 

 

 

ㅇ 머신 러닝 : 광고를 효과적으로 배치할 위치를 판단한다.

ㅇ 맞춤형 광고

   크롤러가 수집한 정보를 바탕으로 가장 적합한 광고를

보여주려고 노력한다.

광고 크롤러는 광고주와 웹사이트 운영자의 광고 수익을 

극대화하는데 매우 중요하며 애드센스는 광고 크롤러가

탐색하지 못하는 페이지에 대해 경고하여 알려주는 것이다. 

 

광고 크롤러 오류란?

   애드센스 광고 크롤러 오류는 구글이 해당 글을 

발행했을때 크롤링이 되지 않는 문제를 말한다.   따라서 

해당 글에서 광고 요청을 해도 광고 게재가 제한되는 것이다.

크롤러 오류 중에 '크롤러: 알 수 없는 오류'는 대개 정책위반에

해당되지는 않는다고 한다.   그냥 놔두면 시간이 지남에 따라

해결된다는 의견도 있고 색인을 생성하면 된다는 의견도

있지만, 이왕이면 발생 원인을 파악하고 해결하는 것이

효과적이라고 할 수 있을 것이다. 

티스토리 광고 크롤러 오류 발생 원인

ㅇ robots.txt 오류

   크롤러가 접근을 금지하는 명령이 잘못 설정되어 잇거나

중요한 페이지가 차단되어 있을 수 있다.

ㅇ HTML 코드 오류

   웹페이지의 HTML 코드에 오류가 있어서 크롤러가 제대로 

인식하지 못하는 경우도 있다.

ㅇ 서버 오류

   서버가 과부하 상태이거나 일시적인 오류로 크롤러의

접근을 허용하지 않는 경우이다.

 

 

 

 

ㅇ JavaScript 오류

   JavaScript 코드가 실행되지 않거나 오류가 발생하여

페이지 로딩이 지연될 수 있다.

ㅇ 광고 코드 오류

   광고 코드가 잘못 설치되어 있거나 광고 단위 설정에

문제가 있을 수 있다.

ㅇ 호환되지 않는 광고 유형 또는 크기

   웹사이트 레이아웃과 호환되지 않는 광고 유형이나

크기를 설정할 경우 크롤러 오류가 발생할 수 있다.

크롤러 오류 해결방안

ㅇ 광고 크롤러 오류 확인

   광고 크롤러 발생 위치의 URL을 확인하고 크롤러 액세스

메뉴에서 로그인 정보를 확인한다.   각종 로그인 정보를

정확히 입력하고 크롤링 상태를 확인하면 '크롤링 안 함'

상태에서 약 20~30분 후에 '크롤링' 상태로 바뀐다.

 

ㅇ 구글 서치콘솔에서 URL 색인 생성 요청

   블로그 글을 처음 쓰고 난 후에 구글 서치 콘솔에 색인을

생성할때와 같은 조치이다.

구글 서치 콘솔에서 해당 글의 감사 입력창에 해당 글의

URL 주소를 넣고 '색인 생성 요청'을 누르면 조치가 완료된다.

대개 바로 등록되지만 간혹 색인 생성 요청에 시간이

걸리거나 생성이 안되는 경우도 있으니 확실하게 확인하는

것이 중요하다.

 

 

 

ㅇ 광고 크롤러 오류의 대부분은 기다리면 해결된다.

   광고 크롤러 오류의 대부분은 호스팅 서버의 불안정 문제로

색인 생성을 요청하거나 시간이 지나면 저절로 해결되기도

한다.   만약 시간이 지나도 해결되지 않으면 정책위반

사항에 해당될수도 있으니 이때는 구글 정책을 확인해서

글을 수정하거나 작성해야 한다.

크롤러 오류 발생 방지방법

   크롤러 오류의 예방을 위해서 가장 중요한 것은 정기적인

모니터링이다.   블로그의 공개 상태, robots.txt 파일 설정,

서버 상태 등을 자주 확인하여 크롤러가 원활히 접근할 수 

있도록 해야 한다.   또 새로운 글을 게시할때는 구글 서치

콘솔에 색인 생성을 요청하고 색인이 잘 생성되었는지

확인해야 한다.