【11/13-17:00更新】受信メールサーバ・障害情報(9/11-10:26～11/11-19:20)
9月11日10時26分頃発生した弊社メールサービスの障害は、11月11日19:20頃までに全ての復旧作業が終了し、障害が解消いたしました。
本件障害の概要、復旧作業の概要、原因及び再発防止策は下記ページでご案内しております。
http://www.fctv.ne.jp/info/20151112-1.html
これより下には、これまでご案内してきた状況を掲載しております。
お客様には、長期間にわたって大変ご迷惑をおかけいたしましたことを心よりお詫び申し上げます。
10月15日14：00掲載 『本復旧作業』を開始いたします
現在お客様にご利用いただいている『仮のメールサーバ』から、『本来のメールサーバ』に全てのメールデータを復元する『本復旧作業』を実施します。『本復旧作業』が全て完了すると、本件メールシステム障害は復旧完了となります。
『本復旧作業』により、お客様に以下の影響があります。
お客様への影響
- 『本復旧作業』はメールアドレス単位で行うため、お客様のメールアカウントの復旧処理をしている間(メールアドレスごとに5-10分、極めて多くのメールをサーバに保存している方は30分程度)、メールの受信が行えません。
このとき、お使いのメールソフトでは【パスワードが違います】【認証エラー】などの表示が出ますが障害ではありませんので、しばらく時間をおいてから再度受信をお願いいたします。 - 『本復旧作業』の実施中も、上記以外の時間帯(ご自分以外のメールアドレスの処理を行っている、ほとんどの時間)はメールの送受信は普段通り行えます。
- 『本復旧作業』の終了後、下記に該当する方はメールの再受信が発生します。誠に恐縮ですが、重複して不要なメールはお客様ご自身での削除をお願いいたします。
- メールの最終受信日(お客様が受信の操作を行った日)が2015年8月31日以前(8月31日を含む)の方
- 何らかの理由でpopとimapの両方の受信方法を併用している方
『本復旧作業』の進捗状況についてはこれまでのように日別に数値でお示しすることが難しいため、作業の節目ごとに大まかな進行状況(例えば「約1/4が終了」)を掲載する予定です。(掲載内容が変わることがあります)
※11/9-10:00現在の『本復旧作業』の状況
概要 『本復旧作業』の「第三段階」作業を実施中です。
「第三段階」の実施状況
- 最終受信日が8月、7月、6月であるお客様のメールデータ復旧 10/26までに終了済
- 最終受信日が5月以前であるお客様のメールデータ復旧 実施中(約50.4%終了)
「第三段階」の作業内容とお客様への影響
- 「メールの最終受信日(お客様が受信の操作を行った日)が2015年8月31日以前(※)のお客様」を対象に、『仮のメールサーバ』から『本来のメールサーバ』に全てのメールデータを移動します。(※8月31日を含む)
- この作業を実施すると、該当のお客様にはメールの再受信が発生します。再受信はメールの受信日時通りではなく、古いメールが先に受信されたり、新しいメールが後に受信されたりします。また、作業の進行状況によっては複数回の再受信が発生する可能性があります。
- この作業は、お客様がメールを最後に受信した日が何月であるか(8月、7月、6月、それ以前)に分類して実施します。
- メールを最後に受信した日が8月であるお客様への作業を、10/23-21時頃から実施しています。
- その他の影響は、上の「お客様への影響」でご案内している通りです。
※10/22-12:00現在の『本復旧作業』の状況
概要 10/21の22時ころより『本復旧作業』の「第二段階」を実施しています。これにより上記でご説明したお客様にメールの再受信が発生します。
- 何らかの理由でpopとimapの両方の受信方法を併用しているお客様を対象に、『仮のメールサーバ』から『本来のメールサーバ』に全てのメールデータを移動します。
- この作業を実施すると、該当のお客様にはメールの再受信が発生します。再受信はメールの受信日時通りではなく、古いメールが先に受信されたり、新しいメールが後に受信されたりします。また、作業の進行状況によっては複数回の再受信が発生する可能性があります。
- その他の影響は、上の「お客様への影響」でご案内している通りです。
- 10/22の12時までに、「第二段階」のうちmx1,2,3分が終了しました。引き続き10/22の21時頃よりmx4,5を対象に作業を行います。
- 「第二段階」作業が終了した後、「第三段階」の作業を実施します(※)。対象は「メールの最終受信日(お客様が受信の操作を行った日)が2015年8月31日以前(8月31日を含む)の方」です。
※「第三段階」作業の開始がいつになるかは、別途お知らせします。
※10/21-10:00現在の『本復旧作業』の状況
概要 『本復旧作業』の「第一段階」がまもなく終了します。引き続き「第二段階」を実施しますが、これにより上記でご説明したお客様にメールの再受信が発生します。
- mx1,2,3,4,5それぞれのサーバに対し、『仮のメールサーバ』から『本来のメールサーバ』にデータを移す作業の第一段階を行っており、まもなく終了します。
- この第一段階作業はまもなく終了しますが、常にメール受信を行っている方(具体的には常にIMAPによるメール待受を行っている方)に対してはこの第一段階作業が行えておりません。(※)
- 該当するお客様には個別にご連絡を差し上げますので、本復旧作業にご協力下さいますようお願い申し上げます。
※10/23-09時頃までに、全てのお客様に対して「第一段階作業」が終了しました。
※10/19-14:30現在の『本復旧作業』の状況
概要 『本復旧作業』は進行中で、深刻な作業の中断や手戻り※は発生しておりません。
- mx1,2,3,4,5それぞれのサーバに対し、『仮のメールサーバ』から『本来のメールサーバ』にデータを移す作業の第一段階を行っています。
- この作業は、1つのサーバに対して複数回実施します。(お客さまのメールアカウントをメールのご利用形態ごとに分類して作業しているため)
- 10/19-14:30現在、第一段階のデータ移動が3/5ほど終了しています。
- 第一段階のデータ移動が終了後、第二段階以降の作業を実施します。
※手戻り 作業がうまく行かず前段階からやり直しすること
「続きを読む」にはこれまでのご案内が掲載されていますが、相違がある場合はこの文章より上に記載されている内容が最新のご案内です。
以下の記載は、『本復旧作業』開始前のものです。
【現在の状況 10/14-10:00現在】 ※今後は進展があり次第更新しますので、更新時間が不定期になります。
※現在の作業内容
- 全てのお客様に対して全メールデータを復元(『本復旧作業』)するに当たり、お客様のメールのご利用状況を調査中です(最終受信日時、受信方法(pop、imap、その併用)
- お客様のメールのご利用状況によっては、『本復旧作業』終了後、これまでに受信済みのメールが再度配送されます。
- 『本復旧作業』は早ければ10月15日ころから実施しますが、現在作業日時が確定しておりません。決定次第お知らせいたします。
※弊社が行っていた『復旧作業』と今後の作業について
- 『復旧作業』では、お客様のメールデータそのものと管理情報を結びつける、メールサーバ上のデータベースの再構築作業を行っていました。
- データベースの再構築が終了しましたので、この後このデータを「本来のメールサーバ」に戻す作業を実施します。これを今後『本復旧作業』と表記します。
- 再構築したデータを単純に「本来のメールサーバ」に戻すと、これまでに受信したメールが再度重複して受信されてしまうため、極力重複受信が少なくなるような作業方法を検討しております。
上記の作業方法と日程が決定いたしましたら、改めてご案内いたします。次のご案内は10月13日の予定です。※10月13日に続報をご案内する予定でしたが同日の更新はありませんでした。
【メールサービス障害・お客様への影響】
【現在行っていただけないこと】
- 引き続き「障害発生時間以前のメール」のうち、『さかのぼり配送』が終わっていないものの受信、閲覧ができません。imapまたはWebメールでご覧頂いている方は、サーバ上のフォルダーが正常にご覧いただけません。(※『さかのぼり配送』は全て終了しています)
- メール環境設定画面にアクセスできません。パスワードの変更、転送設定などが行えません。
【現在正常に行えること】
- 「障害発生時間以降のメール」については、正常に送受信できています。
【復旧作業中、復旧作業終了後のお客様への影響】
- 復旧の目処は随時ご案内しますが、完全復旧までには長期間を要します。よって、お急ぎの場合は、大変お手数ではございますが、送信元に再送のご依頼をしていただけますようお願いいたします。『さかのぼり配送』が終了いたしましたので、この措置は不要です。
- 「障害発生時間以前のメール」は現在受信していただけません(※)が、これが失われる(なくなってしまう)ことはありません(メールのデータ自体はサーバ上に保全されており、復旧作業でもメールデータ自体を加工してはいないため)
※『さかのぼり配送』が終了いたしましたので、大多数のお客様の大半のメールは受信いただけるようになっています。 - 復旧作業完了後はこれまでの未読・既読の管理情報が失われるため、過去にダウンロードしてサーバ上に残っているメールが、新着メールとして再度受信されます。(※)
※『さかのぼり配送』を実施したメールについても、再度受信されます。
誠にご不便をおかけいたしますが、適宜メールソフト上で重複分を削除するなどのご対応をお願いいたします。
(※)10/9追記 本復旧作業の際に、これらのメールが再度受信されることが極力少なくなるよう手順を検討しております。
【弊社が現在行っている作業のご説明】
- 『復旧作業』・・・「本来のメールサーバ」において、お客様が現在受信・閲覧することのできない「障害発生時間以前のメール」を取り出せるようにする作業を指します。
- 『さかのぼり配送』・・・『復旧作業』と平行して、障害発生時間以前のメールを順次お客様に配送しています。数日分ずつ分けて実施しています。(完了)
【『復旧作業』の進捗状況に関するお問い合わせについて】
- 『復旧作業』はメールシステム全体をひとかたまりで扱っているため、個別の復旧状況についてはお調べすることができません。
- また、この作業は現在お客様にご利用いただいている「仮のメールサーバ」と切り離された「本来のメールサーバ」で行われているため、復旧が完了したアカウン トから順番に過去のメールが読めるようになる、ということにはなりません。
- ご案内している進捗状況の数値(%表示)は、現在行っている「メールサーバ上のデータベースの再構築作業」の進み具合です。
- 実際にお客様が以前のメールを読み書きできるようになるには、この作業が終了した後に
- 現在利用中の「仮のメールサーバ」から「本来のメールサーバ」にお客様の現在のデータを移動する
- 復旧したデータと上記作業で移動したデータを結合する
などの作業が必要なため、「100%」になった直後から「障害発生時間以前のメール」の受信が再開するわけではありません。
これらの作業については、実施段階になりましたら改めてご案内いたします。
【『さかのぼり配送』の開始について】(9/25-10:30修正あり)
現在お客様が受信できていない「障害発生時間以前のメール」について、障害発生の時間から遡って配送を行っています。
- 『さかのぼり配送』が何らかの原因で中断した際、時間を遡って配送を再開するため人によっては同じメールが複数配送されることがあります。
※『さかのぼり配送』の中断時は、0秒に遡って配送を再開します。たとえば、「10時30分55秒」の時点で『さかのぼり配送』が中断した時は、「10時30分0秒」から配送をやり直します。このため、最大1分間のメールが重複して配送されることがあります。
9/5の10:13ころのメールを配送中に『さかのぼり配送』が中断したとすると、10:00から『さかのぼり配送』を再開するため、10:00から10:13のメールが重複することになります。(あくまで一例です) - 9/17の22時ころから配送を実施しています。
- 『さかのぼり配送』は、数日分ずつ区切って実施しています。現在実施中のものがいつのメールであるかは、記事冒頭でご案内しています。
- 『さかのぼり配送』が終了すると、更に前の時間帯に遡って次の『さかのぼり配送』を実施します。
(例えば、9/9から9/11の『さかのぼり配送』が終了次第、次は9/7から9/8分の『さかのぼり配送』を行います) - 配送が完了したお客様から順次、メールが受信・閲覧できるようになります。
- 日付順にメールが配送されるとは限りません。
【『さかのぼり配送』作業のめど・お答えできないご質問について】
- メール配送については、現在使用中の「仮のメールサーバ」の負荷が少ない時間帯に実施するため、全てのお客様にメールを配送するのにかなりの長時間、具体的には1日分のメールを配送するのに、実際の1~2日間を要する見込みです。
- この処理はメールサーバに溜まっているメールに対して機械的に行うため、特定のメールを優先的に取り出したり、お客様のメールがいつ取り出せるのかをお調べすることができません。誠に恐縮ですがこれらのお問い合わせにはお答えできませんので、何卒ご容赦下さいますようお願いいたします。
- 配送の進み具合については、このページで随時ご案内いたします。
『復旧作業』の進捗状況
- 10/10-08:30現在 100%
- 10/8-10:30現在 約89.8%
- 10/7-10:30現在 約85.3%
- 10/6-10:30現在 約81.4%
- 10/5-10:30現在 約79.3%
- 10/4-10:30現在 約75.6%
- 10/3-10:30現在 約74.1%
- 10/2-10:30現在 約73.2%
【現在の復旧状況 10/1-10:30現在】
『復旧作業』の進捗状況 約72.3%
imapのみをご利用のお客様への全メールデータの復元
- mx5,4,3,2,1をご利用のお客様 復元終了
【現在の復旧状況 9/30-10:30現在】
『復旧作業』の進捗状況 約71.0%
imapのみをご利用のお客様への全メールデータの復元
- mx5をご利用のお客様 復元終了
- mx4,3,2,1をご利用のお客様 作業準備中(※夜間帯や休日に実施いたします)
【9/29-17:00更新】 imapのみをご利用のお客様へのメールデータ復元を行います。※10/1までに復元終了しています
imapのみを使ってメールを送受信されているお客様を対象に、全データ復元を行います。
※「復元」と表現していますが、実際にはメールデータを「仮のメールサーバ」に移動する作業を行います。「移動」ですので、この作業で閲覧できるようになったメールは、本復旧の時に重複して配送されません。必要なメールは削除なさらないようにお願いいたします。
所要時間は配送開始前の推定で40時間程度を見込んでおりますが、サーバに負荷を与えますのでドメイン毎に夜間帯や休日に実施いたします。実際の所要時間は大きく変動することが考えられるため、進捗状況はこのページで随時ご案内いたします。
これにより、imapをご利用のお客様の「送受信メール、作成したフォルダ」が全て(※障害発生前と同じ状態)復元されます。
【現在の復旧状況 9/29-10:30現在】
『復旧作業』の進捗状況 約69.0%
【現在の復旧状況 9/28-10:30現在】
『復旧作業』の進捗状況 約66.5%
【現在の復旧状況 9/27-10:30現在】
『復旧作業』の進捗状況 約64.8%
『さかのぼり配送』の進捗状況
【第4回さかのぼり配送・9/3-9/1分】※さかのぼり配送は9/1分で一旦終了いたします。
- 9/3のメール 配送終了
- 9/2のメール 配送終了
- 9/1のメール 配送終了
『imapのみご利用のお客様への約4カ月分のメールデータ復元』の進捗状況 終了
【9/25-17:30更新】 imapご利用のお客様への約4カ月分のメールデータ復元を行います。（9/25-19:15訂正）
下記の「第4回さかのぼり配送」は明日9/26中9/28中には終了する見込みです。
「第4回さかのぼり配送」の終了後と並行して、imapを使ってメールを送受信されているお客様を対象に、おおむね4カ月分のメールデータ復元を行います。
※「復元」と表現していますが、実際にはメールデータを「仮のメールサーバ」に移動する作業を行います。「移動」ですので、この作業で閲覧できるようになったメールは、本復旧の時に重複して配送されません。必要なメールは削除なさらないようにお願いいたします。
所要時間は配送開始前の推定で50時間程度を見込んでおりますが、実際の所要時間は大きく変動することが考えられるため、進捗状況はこのページで随時ご案内いたします。
これにより、imapをご利用のお客様の「5月12日以降の送受信メール、作成したフォルダ」が復元されます。
※ 「5月12日」となっている理由は、現状の『復旧作業』が必要になる前の最終の正常バックアップが5月12日分であるからです。現在の『復旧作業』は、5 月12日から9月11日の約4ヶ月のメールデータの実体(メールそのもの)と、インデックス(どのメールデータがどのお客様宛てのものであるか)を結びつ ける作業を行っています。
【現在の復旧状況 9/26-10:30現在】 ※原則として1日1回、10:30ころ更新します。
『復旧作業』の進捗状況 約63.5%
『さかのぼり配送』の進捗状況
【第4回さかのぼり配送・9/3-9/1分】※さかのぼり配送は9/1分で一旦終了いたします。
- 9/3のメール 配送終了
- 9/2のメール 00:00から15:00頃までのメールの配送が終了
【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 配送終了公開
- 9/5のメール 配送終了
- 9/4のメール 配送終了
【現在の復旧状況 9/25-10:30現在】
『復旧作業』の進捗状況 約62.0%
『さかのぼり配送』の進捗状況 【第4回さかのぼり配送・9/3-9/1分】※さかのぼり配送は9/1分で一旦終了いたします。
- 9/3のメール 00:00から14:00頃までのメールの配送が終了
【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 配送終了
- 9/5のメール 配送終了
- 9/4のメール 配送終了
【現在の復旧状況 9/24-10:30現在】
- 『復旧作業』の進捗状況 約59.2%
- 『さかのぼり配送』の進捗状況【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 配送終了
- 9/5のメール 配送終了
- 9/4のメール 00:00から18:30頃までのメールの配送が終了
【9/23-10:30更新】
- 『復旧作業』の進捗状況 約59.2%
- 『さかのぼり配送』の進捗状況 【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 配送終了
- 9/5のメール 配送終了
- 9/4のメール 00:00から14:00頃までのメールの配送が終了
【9/22-10:30更新】
- 『復旧作業』の進捗状況 約58.0%
- 『さかのぼり配送』の進捗状況 【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 配送終了
- 9/5のメール 00:00から12:00頃までのメールの配送が終了
【9/21-10:30更新】
- 『復旧作業』の進捗状況 約56.8%
- 『さかのぼり配送』の進捗状況
- 【第3回さかのぼり配送・9/6-9/4分】
- 9/6のメール 00:00から4:00頃までのメールの配送が終了
- 【第2回さかのぼり配送・9/7-9/8分】
- 9/8のメール 配送終了
- 9/7のメール 配送終了
【9/20-10:30更新】
- 『復旧作業』の進捗状況 約55.7%
- 『さかのぼり配送』の進捗状況
- 【第2回さかのぼり配送・9/7-9/8分】
- 9/8のメール 配送終了
- 9/7のメール 00:00から11:00頃までのメールの配送が終了
- 【第1回さかのぼり配送・9/9-9/11分】
- 9/11のメール(00:00から10:25(障害発生直前まで)) 配送終了
- 9/10のメール 配送終了
- 9/9のメール 配送終了
【現在の復旧状況 9/19-10:30更新】
- 『復旧作業』の進捗状況 約54.8%
- 『さかのぼり配送』の進捗状況 【第1回さかのぼり配送・9/9-9/11分】
- 9/11のメール(00:00から10:25(障害発生直前まで)) 配送終了
- 9/10のメール 配送終了
- 9/9のメール 00:00から17:30頃までのメールの配送が終了
【9/19-10:30更新】
- 『復旧作業』と『さかのぼり配送』(第1回・9/9-9/11分)を平行して実施しています。
【9/18-10:30更新】
当初より行っている復旧作業の進捗状況は、前回ご案内(9/17-9時現在)より1200アカウントほど復旧済みアカウントが増えました。(全アカウントの約53.3%が復旧済み)
上記でご案内した『「障害発生時間以前のメール」のうち、直近おおむね3日分(9/9-9/11)の配送』の実施状況は以下のとおりです。時間はおおよそのものですが、個々のお客様によって大きくばらつきがあるものではありません。
- 9/11のメール (00:00から10:25(障害発生直前まで)) 配送終了
- 9/10のメール 00:00から13:38ころまでのメールが配送終了
現在もメール配送を継続中ですが、「仮のメールサーバ」の負荷が非常に高いため、実時間1時間あたり30分ほどの配送状況となっています(実際の1時間で、過去のメールの30分間くらいのものを配送している)
【9/17-17：00更新】
復旧に長時間を要しているため、現在お客様が受信できていない「障害発生時間以前のメール」のうち、直近おおむね3日分(9/9-9/11)の配送を実施します。
- 9/17の22時ころから配送を開始します。
- 配送が完了したお客様から順次、9/9-9/11のメールが受信・閲覧できるようになります。
- 日付順にメールが配送されるとは限りません。
- お客様が最後にメールを受信してから9/9までのメールは、まだ受信することができません。引き続き復旧作業を行っています。(例えば最後にメールを受信したのが9/1の場合は、9/1-9/8のメールは受信できません。)
【9/17-10:30更新】
- 9/17-9時頃の進捗状況は、前回ご案内(9/16-9時現在)より4100アカウントほど復旧済みアカウントが増えました。(全アカウントの約51.2%が復旧済み)
【9/16-10:30更新】
- 9/16-9時頃の進捗状況は、前回ご案内(9/15-9時現在)より3800アカウントほど復旧済みアカウントが増えました。(全アカウントの約44.4%が復旧済み)
- 前回のご案内ペースより若干遅い進捗状況となっています。
【9/15-10:30更新】
- 9/15-9時頃の進捗状況は、前回ご案内(9/14-9時現在)より4500アカウントほど復旧済みアカウントが増えました。(全アカウントの約37.9%が復旧済み)
- 前回のご案内ペースより若干早い進捗状況となっていますが、復旧までに要する時間は前回ご案内の通りとさせていただきます。
【9/14-10:30更新】
- 9/14-9時頃の進捗状況は、前回ご案内(9/13-17時現在)より2000アカウントほど復旧済みアカウントが増えました。(全アカウントの約20.2%が復旧済み)
- 作業にトラブルや手戻りは発生しておりませんが、前回のご案内ペースよりさらに遅い進捗状況となっています。
- メール蓄積量が非常に多いユーザを処理しているものと推測され、大変申し訳ございませんが、現状までの実績値で計算すると復旧まで約1ヶ月を要することとなります。
【9/13-21:00更新】
- 9/13-17時頃の進捗状況は、前回ご案内(下記)より5000アカウントほど復旧済みアカウントが増えました。
- 下記のご案内ペースより極めて遅い進捗状況ですが、作業にトラブルや手戻りは発生しておりません。(メール蓄積量が非常に多いユーザを処理しているものと推測されます)
- 14日月曜日に、より詳細な数字を示してご説明できるようにいたします。
【9/12-14:00更新】
現在、引き続き「障害発生時間以前のメール」を受信できるよう作業中です。現状をご案内いたします。
現在の作業状況
- お客様には仮のメールサーバをご利用いただいています。復旧作業は本来のメールサーバで行われています。
- 現在、「障害発生時間以前のメール」を受信できるよう、メールサーバ上のデータベースの再構築作業を行っています。
- 再構築作業の進捗は、9月12日09時の時点で約1/6です。
- 進捗速度は、現在までの実績の平均値で「1時間あたり約500メールアカウント」です(これまでのところ早いときで1800アカウント/時間、遅い時で100アカウント/時間です)
- この平均値の通り復旧が進むと仮定すると、復旧は当初ご案内の「9月13日(日曜)」から大幅に遅れ、「9月15日(火曜)」頃になる見込みですが、復旧作業の速度は各メールアカウントが蓄積しているメールの量に大きく依存するため、復旧完了の日時も大幅に変わる可能性があります(早くなる可能性も遅くなる可能性もあります)
障害発生日時：2015年9月11日(金) 10：26
仮復旧の日時：2015年9月11日(金) 12：55 ※
※障害発生「以降」に届いたメールの受信 及び 送信を行うことが可能です。
障害発生前にサーバに届いていたメールに関しては、引き続き復旧作業を行っており、復旧作業後メールを受信できるよう対応しております。
また、IMAPをご利用のお客様 ならびに WEBメールをご利用のお客様においては、9月11日 10時26分より前に送受信したメールが表示されません。また、フォルダーが正常に表示されておりません。
現時点での復旧目途は9月13日(日)の見込みでございますが、場合によっては更に長引く可能性がございます。
よって、お急ぎのメールがある場合には、大変お手数ではございますが、送信元に再送のご依頼をしていただけますようお願いいたします。
お客様には大変ご迷惑をお掛けしていることを深くお詫び申し上げます。
本復旧となりました際は、改めて案内させて頂きます。
以上よろしくお願いいたします。