へっぽこな現場から　2nd -紅の弾幕編-

04.25.18:51

[PR]

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

04/25/18:51

03.18.11:45

三つの障害が連続発生、気象データ配信システムのダウンの経緯が判明（ITpro）

1週間ほど前に朝のニュースをテレビで見ていたら、お天気ニュースのところで「気象情報が配信されていないため古いデータですが・・・」とあり、「？」と思いましたが・・・

・気象情報の配信システムがダウン、テレビやWebサイトなどの天気予報に影響(ITpro)
・気象情報配信システムが17時間20分ぶりに復旧、経緯の詳細はいまだ不明(ITpro)

その後、今回のトラブルの原因が判明したようです。
記事を見てみると・・・障害対策をしていたにも関わらず、障害対応に使う機器が故障していた、と。めったに使うことの無い機器とはいえ、きちんとチェックしておけばここまでヒドイトラブルにはならなかったはず。

定期的なチェックやトラブル対応訓練って大切だよね・・・

■三つの障害が連続発生、気象データ配信システムのダウンの経緯が判明（ITpro）

2009年3月9日にダウンした気象データの配信システムが正常稼働までに17時間20分かかったのは、三つの障害が連続発生したからであることが分かった。ハードの二重化といった信頼性向上策を講じていたが、三つの障害が続いたことで、ダウンを回避できなかった。

　一つめの障害は富士通製UNIXサーバー（OSはSolaris）のCPUボードの故障だ。電文形式データ配信システムでは、2台のサーバーによるホットスタンバイ構成を採用している。このうち本番系サーバーが故障した。

　すぐに待機系が稼働するはずが動かなかった。引き継ぎ情報を格納した制御系ファイルが壊れていた。これが二つめの障害だ。制御系ファイルは富士通製の共用ディスク上にあり、本番系と待機系の双方からアクセスできる。サーバーの起動に不可欠だが壊れていたために引き継ぎ情報が読み込めなかった。

　「電文形式データ配信システム」を管理する気象業務支援センターとシステム構築を手がけた富士通は、制御系ファイルの壊れた部分の特定を進めた。ファイルを修正し、いったんは午後4時ごろにシステムを再稼働できると判断した。

　ここで三つめの障害が表面化する。本番系と待機系の2台のUNIXサーバーと、ネットワーク上の通信機器との接続を切り替える「回線切替器」（富士通製）が正常に動作せず、本番系が観測データなどを受信できなかった。結果的に、制御ファイルを復旧させてもシステムを稼働できなかった。

応援のクリックお願いします（＞＜）