クローラによる負荷増大によるダウンタイムのお詫び

 

いつもTimelogをご利用いただき、ありがとうございます。

6月4日~5日にかけ、クローラー(検索エンジンなどがWebサイトからコンテンツを取得する自動プログラム)がTimelogに多大な負荷をかけ、Timelogのデータベースサーバに過負荷を与えていました。そこで、サーバー管理会社がデータベースサーバを遮断し、Timelogのサービスが落ちてしまっていました。

ご迷惑をおかけいたしました。

現在は、過負荷を与えていたクローラーを遮断していますので、通常負荷に戻りました。

こういったクローラーは、そのサイトにあるURLをすべて順に取得していこうとします。弊社の別事業で通販事業を行っておりますが、そのサイトのページは約400。かなり多いですが、クローラーにしてみれば一瞬です。

しかし、SNSなど、毎日新たなURLが大量に生成されるようなサイトでは、クロールしようと思うと、大変な負荷になってしまいます。クローラーによっては、負荷を与えないようにきちんと節度を守ってクロールするようプログラムされたものがありますが、その一方、おそらくバグに近い挙動で、クロールの際、無限にアクセスしてしまってサーバーに多大な負荷を与えるものもあります。

今回は、そんなクローラーに見つかってしまい、大量アクセスされてしまった、というわけです。

ご迷惑をおかけしましたことをお詫び申し上げます。

  • このエントリーをはてなブックマークに追加
  • Pocket

この記事へのコメントはこちら

メールアドレスは公開されませんのでご安心ください。
また、* が付いている欄は必須項目となりますので、必ずご記入をお願いします。

内容に問題なければ、下記の「コメント送信」ボタンを押してください。