百度からメール到着。サービス不能攻撃と間違うくらいの猛アクセスを行っている事にようやく気が付いたという事か（苦笑）。以下抜粋。
----
百度は中国の最大の検索エンジンです（ネットユーザの約7割）。
海外初の進出となった日本市場へは2006年の12月に本格的に参入致したばかりです。
さて、弊社はまもなく日本語版検索サービスを開始致しますが、それにあたり現在日本語サイトの情報収集Spiderのリサーチを実施しております。
それにより御社のサイトに過剰なアクセスが発生したため、管理者の方には多大なるご心配をおかけ致しました。
私はこの百度Spiderの作業管理担当者としてこの度百度Spiderが御社のサイトにご迷惑をおかけしましましたことに関して誠に申し訳なく思っております。
今後はこの問題について会社全体が真摯に受け止め、日本のインターネット業界におけるルールに従い、このようなことが二度とないように努めていく所存でございます。
弊社はここまで現れた問題について以下のように調整しました：
(1) 各サイトにクローラー負荷を下げさせています。Baiduspiderの最大クローラー頻度は9回/秒から1回/3秒までに下げさせました。以前クローラー頻度の1/27になりました。
(2) 各サイトの規模とIP負荷に対し、それぞれ対応できるクローラー対策を設定し、中小のサイトに対し、クローラー頻度は20秒/回以内にコントロールしています。
(3) サイトに対し圧縮クローラー機能を追加して、同じ負荷でサイトにのアクセス量はもともとの1/3に下げさせます。
(4) 各サイトに対し、毎日のクローラー総量をコントロールし、もしサイトの最大制限を超えると、当日で調整させます。
(5) もし各サイト管理者はBaiduspiderに対し、何かご質問がございましたら、たいへんお手数ですが、webmaster-jp@baidu.comまでにご連絡して頂きたいと思います。
百度はこの様な努力し、御社のページビューにも役に立つよう最適なネットワーク構築や、より一層の協力関係を築けるよう、日々全力をあげてまいります。
そしてユーザーがより良い体験をでき、弊社のリソースを日本のユーザーの皆様にご提供できれば幸いでございます。
最近のコメント