robots.txt 검색봇 차단 방법
검색봇으로 인해 트래픽 증가가 발생,
사이트가 차단되는 경우가 많은데 이럴때 해결방법을 알려 드리겠습니다.
말 그대로 검색봇을 손쉽게 차단하는 방법을 알려드리겠습니다.
호스팅을 사용하다 보면 갑자기 트래픽 사용량이 증가해 차단이 되는 경우가 많습니다.
이럴 경우 다음과 같이 따라 하시면 됩니다.
1. 웹로그 통한 IP 확인하기
먼저 트래픽 사용량이 증가해 사이트가 차단된 경우,
닷홈에서 제공하는 웹로그에서 접속이 많은 IP를 먼저 확인해 볼수 있습니다.
혹시 조금 모르겠다면 위의 내용을 조금 더 보고 다음 글을 읽어주세요!!
2. 트래픽 확인하고 처리하기
사진 설명을 입력하세요.
위와 같이 66.249.79.*로 되어 있는 IP는 구글의 검색봇 IP 입니다.
검섹엔진 봇으로 인해 불필요한 트래픽 낭비를 줄이거나 홈페이지
노출을 꺼리는 경우 robots.txt 파일을 만들어 FTP로 업로드 후 차단할수 있습니다.
업로드 위치는 index 파일이 위치한 웹사이트의 최상위 디렉토리입니다.
닷홈의 기준으로는 /html입니다.
# 사용 예제
모든 검색로봇 접근 차단
User-agent: *
Disallow: /
모든 검색로봇 접근 허용
User-agent: *
Allow: /
구글 검색로봇 차단
User-agent: Googlebot
Disallow: /
네이버 검색로봇만 접근 허용
User-agent:Yeti
Allow: /
User-agent: *
Disallow: /
특정 디렉토리만 검색로봇 차단
User-agent: *
Disallow: / 디렉토리명
자주 사용하는 내용만 올렸습니다.
자세한 사용 방법은 http://www.robotstxt.org 에서 확인이 가능합니다.
사진 설명을 입력하세요.
위를 보시면 구글에서 네이버 검색시 robots.txt 가 적용되어 있는 모습을 보실수 있습니다.