年明けくらいから"Limit crawl frequency"(MSN.com)に書いてあるように,
User-agent: msnbotをrobots.txtに書いても無視されている1ような感じ. 今後も続くようならrejectしてしまおう…
Crawl-delay: 120
それまでは,きちんとCrawl-delayで指定した秒数の間隔でアクセスされていた. ↩︎
年明けくらいから"Limit crawl frequency"(MSN.com)に書いてあるように,
User-agent: msnbotをrobots.txtに書いても無視されている1ような感じ. 今後も続くようならrejectしてしまおう…
Crawl-delay: 120
それまでは,きちんとCrawl-delayで指定した秒数の間隔でアクセスされていた. ↩︎