本記事は、地方公務員の情報システム部門で勤務していた時に遭遇した障害についてお話する記事です。
同業者の方はもちろん、そうでない方も世の中にはこんな仕事もあるんだなという観点でお楽しみいただけますので、是非ご一読ください。
年一回の計画停電作業対応
私が情報システム部署に勤務していた時のお話です。
市役所の庁舎電気設備の点検を行うべく、年一回計画停電が実施されるというサイクルがあり、我々情報システム部門の人間もサーバールームの保安要員として、夜通し待機するという仕事がありました。
停電中であっても、サーバールームは非常用電源設備配下の系統であり、CVCF（蓄電池を内蔵した大型の電気設備。入力が途絶えても蓄電池より給電可能）から給電されていたため、基本的に夜通し待機するだけの簡単なお仕事でした。
停電時間は概ね２時間～３時間程度であり、その間は建物内は暗闇になるため、ランタンを照らして過ごすことになります。
私は当時情報システム部署に配属されて２年目で前年に作業を経験済でしたが、まさかあんなことになるとは思いもよりませんでした・・・
停電作業開始
私と係長職の上司、委託業者のSEの３名で対応していました。
予定通り22時より停電となり、前年同様にサーバールームの機器はCVCFより給電されていて問題無く稼働していました。
基本的に待機中はやることが無いので、３人で世間話に花を咲かせ、１時間程度経過したころだったでしょうか。
「バン！！」
突如室内に響き渡る異音。先ほどまで蛍光灯に照らされていたサーバールームは暗闇に包まれてしまいました。
同時にけたたましい警告音を上げる複数のUPS。
沈みゆく客船の中にいるように錯覚するような音でした。
私は何が起こったのか理解できず、まるで映画の中のワンシーンにいるような感覚に陥ったことを今でも鮮明に覚えています。
老朽化していたCVCFが故障し、蓄電回路から給電出来なくなってしまった瞬間でした。
係長「CVCFが故障した！UPSから給電されている間にサーバーを停止させよう！」
私・SE「了解です！！」
ラックにマウントしている機器はほとんどが仮想サーバー、物理サーバーが数台、残りはネットワークスイッチとなっていました。（ラック５本分ぐらいです）
手元のPCを有線LANに接続し、まずは仮想サーバー上のホストを全停止させようと試みました。
VWwareを利用していたので、VCenterから各ホストを停止させていました。
普段空調が効いており、室内は適温となっているのですが、この時はサーバーの稼働熱であっという間に室内がサウナのような状態になってしまいました。
迅速に対応しなくてはいけない焦りも相まって、額から汗が滴り落ちます。
懸命に対応をしていましたが、無情にも全ての機器を停止させる前にネットワークに接続不可となってしまい、サーバーを操作することが出来なくなりました。
ネットワークスイッチに給電しているＵＰＳが先に止まってしまったためでした。
刻一刻と状況が悪化していきます。
途方に暮れる私を背に、SEさんは直接仮想サーバーの物理コンソールポートに接続し、停止を試みます。
しかし、ここで時間切れでした。
先ほどまで警報を鳴らしていたUPSも、音も光も無い状態になってしまいます。
必死の抵抗もやむなく、全てのＵＰＳが停止してしまい、静寂と暗闇に包まれたサーバールームで、我々三人は長時間立ち尽くしていました・・・
復電後
途方に暮れていると、庁舎内の電気設備点検が完了して建物内が明るくなります。
しかし、サーバールームだけは暗闇のままです。
サーバールームの配電設備は全て件のCVCFの系統であり、サーバーラックはおろか部屋の明かりも無い状態です。
この時点で深夜1時です。
私の心の声「これ復旧できんの？？」「電気無しって無理ゲー過ぎる・・・」
絶望的に重い空気が我々三人の心を蝕んでいきます。
そんな中、状況を聞きつけた課長補佐も現場に駆けつけてくれました。
ひとまず状況を確認すべく、地下に設置されているCVCFの元に４人で向かいます。
地下にある対象のCVCFの前までやってきました。
案の定動作は停止しており、無音の状態です。
藁にも縋る思いで外側の金属板を開き、剥き出しとなっている内部の回路やレバーを参照します。
すると、「バイパス回路切替」なるレバーを発見しました。
おそらく状況的に蓄電池がダメになってしまっているので、蓄電池を介さないバイパス回路に給電ルートを切り替えれば復旧するだろう、と４人で予想しました。
しかし、私を含めレバーを操作することに躊躇いが生まれます。
それもそのはず、電気設備の知識を持ち合わせていない素人が、ともすれば更に状況を悪化させてしまう可能性のある操作を行おうというのです。
私「多分このレバーだと思うんですよね・・・」
係長「俺もそうだと思う！！」
ＳＥ「でもちょっと操作するの怖いですよね・・・」
三人とも防御的な発言をしている最中、一人の勇者がレバーに立ち向かいます。
そう、途中合流した課長補佐です。
課長補佐「これかい？カチッ（レバーを倒す）」
踏ん切りがつかない我々三人を背に、課長補佐が右手で「バイパス回路切替」のレバーを倒します。
次の瞬間、CVCFの大きな起動音とともに、バイパス回路から給電が始まりました。
歓喜が訪れた瞬間でした！！
課長補佐の右腕は、窮地を救った「黄金の右腕」として伝説になりました。
サーバールームに戻ると各UPSまで給電されており、その他の空調などの電気設備も問題無く動作していることが確認できました。
正常にシャットダウンできなかったサーバーについても、通常通り起動出来たため、データ消失等の大事には至りませんでした。（この時運用していたサーバーは非常に堅牢で、障害も少なく優秀なサーバーでした。ありがとうHPさん！）
全てを終えて退庁する頃には朝６時を回り、眩しい朝日が差し込んでいました・・・
あとがき
今でこそ笑い話ですが、当時は本当に焦りました。
このままサーバー上がってこなかったら退職しようかなと本気で考えてました（笑）
私よりあなたに一言。
「電気は大事」
ここまでお読みいただきありがとうございました！
