Yahoo! Japanのモバイル版Yahoo!検索の検索エンジン用ロボットである"Y!J-SRD"にはrobots.txtのCrawl-delayによるアクセス間隔の設定は効かないらしい. あと,SoftBank携帯のUser-Agent名を名乗らずに"KDDI-CA23 UP.Browser (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)“と名乗るのは何故?
Y!J-SRD
August 3, 2007 · Ryusuke KIKUCHI <ryusuke.kikuchi@gmail.com>