robots.txt를 열어놨을 때 Yahoo! Crawer가 너무 들이댄다는 건 잘 알려진 사실이죠.

야후 크롤러 정보
http://help.yahoo.com/l/us/yahoo/search/webcrawler/

그런데 야후 본사 관계자가 크롤러 업그레이드 소식을 전해 왔습니다.

야후가 크롤러 기능을 최근 크게 향상시켰다고 합니다. 크롤러가 너무 들이댄다고 비판이 있었는데 더 좋아졌는지 궁금하시다는군요. 특히 한국 문서에 최적화되어 있다고 합니다. 웹마스터들에게는 매우 민감한 소식입죠.

공식 블로그 공지사항
http://www.ysearchblog.com/archives/000480.html

공지사항을 좀 더 살펴보면, 'Major Crawl Improvements'로서 크롤, 인덱스, 랭킹시스템 등을 바꿨다고 합니다.

특히 'reduction'이라는 표현을 통해 크롤링 주기가 크게 줄었음을 강조하고 있습니다. 방문 횟수는 좀 더 줄이고, 보다 더 효율적으로 문서를 긁어낸다는 뜻이겠군요.

In response to feedback from the community, we're reducing our crawling machines by a significant amount with this update, so you might have observed a significant reduction in crawl load from us along with fewer machine IP addresses hitting you over the last few days.


참고로 야후는 'Dynamic URL Rewriting' 서비스란 것도 시작했군요.

관련 글
http://www.ysearchblog.com/archives/000479.html

웹사이트
http://siteexplorer.search.yahoo.com/

위에 사이트를 등록하면 보다 효과적으로 크롤이 가능하다고 하는군요.
구글 웹마스터 도구(https://www.google.com/webmasters/tools/docs/ko/about.html)가 생각이 납니다.^^

After you confirm the action, we'll modify our crawler such that every time we see a URL from your site with that parameter, we'll automatically rewrite it within our system as per your instruction.