年明けくらいから"Limit crawl frequency"(MSN.com)に書いてあるように,

User-agent: msnbot
Crawl-delay: 120
をrobots.txtに書いても無視されている1ような感じ. 今後も続くようならrejectしてしまおう…


  1. それまでは,きちんとCrawl-delayで指定した秒数の間隔でアクセスされていた. ↩︎