脱!公務員ブログ

Sier企業に勤めている元公務員SEが、自身の体験を元に公務員の実態や転職の経験談、現職の仕事関係の情報などを発信していきます。

IT障害対応記録vol.1~サーバールームに電気がこない件について~

こんにちは♪

 

今回の記事は、公務員の内情や制度とは別に、今までに対応した障害の中で印象深いものをご紹介したいと思います。

 

本件のような障害対応記録は、シリーズ化して不定期に発信していければと考えています。

 

同業者の方はもちろん、そうでない方も世の中にはこんな仕事もあるんだなという観点で楽しんでいただければと思います。

 

それではお話していきます!

f:id:kintoreplayer:20210209170028j:plain

年一回の計画停電作業対応

前職で情報システム部署に勤務していた時のお話です。

 

市役所の庁舎電気設備の点検を行うべく、年一回計画停電が実施されるというサイクルがあり、我々情報システム部門の人間もサーバールームの保安要員として、夜通し待機するという仕事がありました。

 

停電中であっても、サーバールームは非常用電源設備配下の系統であり、CVCF(蓄電池を内蔵した大型の電気設備。入力が途絶えても蓄電池より給電可能)から給電されていたため、基本的に夜通し待機するだけの簡単なお仕事でした。

 

停電時間は概ね2時間~3時間程度であり、その間は建物内は暗闇になるため、ランタンを照らして過ごすことになります。

 

当時情報システム部署に配属されて2年目であり、前年に作業を経験済であったため、まさかあんなことになるとは思いもよりませんでした・・・

 

停電作業開始

私と係長職の上司、委託業者のSEの3名で対応していました。

 

予定通り22時より停電となり、前年同様にサーバールームの機器はCVCFより給電されていて問題無く稼働していました。

 

基本的に待機中はやることが無いので、3人で世間話に花を咲かせ、1時間程度経過したころだったでしょうか。

 

「バン!!」

 

突如室内に響き渡る異音。先ほどまで蛍光灯に照らされていたサーバールームは暗闇に包まれてしまいました。

 

同時にけたたましい警告音を上げる複数のUPS

まるで沈みゆく客船の中のようなエマージェンシー音でした。

 

私は何が起こったのか理解できず、まるで映画の中のワンシーンにいるような感覚に陥ったことを今でも鮮明に覚えています。

 

老朽化していたCVCFが故障し、蓄電回路から給電出来なくなってしまった瞬間でした。

 

係長「CVCFが故障した!UPSから給電されている間にサーバーを停止させよう!」

私・SE「了解です!!」

 

ラックにマウントしている機器はほとんどが仮想サーバー、物理サーバーが数台、残りはネットワークスイッチとなっていました。(ラック5本分ぐらいです)

 

手元のPCを有線LANに接続し、まずは仮想サーバー上のホストを全停止させようと試みました。

VWwareを利用していたので、VCenterから各ホストを停止させていました。

 

普段空調が効いており、室内は適温となっているのですが、この時はサーバーの稼働熱であっという間に室内がサウナのような状態になってしまいました。

 

迅速に対応しなくてはいけない焦りも相まって、額から汗が滴り落ちます。

 

懸命に対応をしていましたが、無情にも全ての機器を停止させる前にネットワークに接続不可となってしまい、サーバーを操作することが出来なくなりました。

ネットワークスイッチに給電しているUPSが先に止まってしまったためでした。

 

刻一刻と状況が悪化していきます。

 

途方に暮れる私を背に、SEさんは直接仮想サーバーの物理コンソールポートに接続し、停止を試みます。

 

しかし、ここで時間切れでした。

先ほどまで警報を鳴らしていたUPSも、音も光も無い状態になってしまいます。

 

必死の抵抗もやむなく、全てのUPSが停止してしまい、静寂と暗闇に包まれたサーバールームで、我々三人は長時間立ち尽くしていました・・・

 

復電後

そんな我々を尻目に、庁舎内の電気設備点検は完了したため、復電し建物内が明るくなります。

 

しかし、サーバールームだけは暗闇のままです。

 

 サーバールームの配電設備は全て件のCVCFの系統であり、サーバーラックはおろか部屋の明かりも無い状態です。

 

この時点で深夜1時です。

 

私の心の声「これ復旧できんの??」「電気無しって無理ゲー過ぎる・・・」

 

絶望的に重い空気が我々三人の心を蝕んでいきます。

 

そんな中、状況を聞きつけた課長補佐も現場に駆けつけてくれました。

 

ひとまず状況を確認すべく、地下に設置されているCVCFの元に4人で向かいます。

 

地下にある対象のCVCFの前までやってきました。

 

案の定動作は停止しており、無音の状態です。

 

藁にも縋る思いで外側の金属板を開き、剥き出しとなっている内部の回路やレバーを参照します。

 

すると、「バイパス回路切替」なるレバーを発見しました。

 

おそらく状況的に蓄電池がダメになってしまっているので、蓄電池を介さないバイパス回路に給電ルートを切り替えれば復旧するだろう、と4人で予想しました。

 

しかし、私を含めレバーを操作することに躊躇いが生まれます。

 

それもそのはず、電気設備の知識を持ち合わせていない素人が、ともすれば更に状況を悪化させてしまう可能性のある操作を行おうというのです。

 

私「多分このレバーだと思うんですよね・・・」

係長「俺もそうだと思う!!」

SE「でもちょっと操作するの怖いですよね・・・」

 

 三人とも防御的な発言をしている最中、一人の勇者がレバーに立ち向かいます。

 

そう、中合流した課長補佐です。

 

踏ん切りがつかない我々三人を背に、課長補佐が右手で「バイパス回路切替」のレバーを倒しました。

 

次の瞬間、CVCFの大きな起動音とともに、バイパス回路から給電が始まりました。

 

歓喜の瞬間でした!!

 

ちなみにこの時の課長補佐が行ったレバー操作については、「黄金の右腕」として今もなお仲間内では語り草です。

 

サーバールームに戻ると、各UPSまで給電されており、その他の空調などの電気設備も

問題無く動作していることが確認できました。

 

 正常にシャットダウンできなかったサーバーの起動はドキドキものでしたが、幸いにも通常通り起動出来たため、データ消失等の大事には至りませんでした。

(この時運用していたサーバーは非常に堅牢で、障害も少なく優秀なサーバーでした。)

 

全てを終えて退庁する頃には朝6時を回り、眩しい朝日が差し込んでいました・・・

 

あとがき

 今回はいつもと趣向を変えて障害対応について記載しましたが、いかがだったでしょうか。

この他にも多彩なエピソードが多数ありますので、折を見てお話できればと思います。

 

記事に対する感想など、お気軽にコメント下さると筆者は喜びます♪

 

本日もここまでお付き合い頂きありがとうございました!