オンコールヒットのリセットが金曜日に到来し、それとともにThe Registerのオンコール騒動の長いリストに新たな項目が加わった。
今日の記事は、読者からのものです。The Regの特許取得済み匿名化ツールが「Jon」と呼ぶことにしたという話は、データ センターの稼働を維持する任務を負っている人々にとっての警告となる話です。
ジョンの勤務先は、ティア1データセンターに新しいラックをいくつか増設しました。データセンターには当然のことながら電力供給を維持するための自家発電機が設置されていましたが、幹部たちは停電時に十分な速さで電力が供給されないことを懸念し、ラック内に無停電電源装置（UPS）も設置しました。
UPS ベンダーですか? ジョンとチームが「アルメニアのポテト時計」と呼んでいた人気のベンダーです。
「生産設備が最も重要だったので、当然のことながら、生産ラックだけを保護しました」とジョン氏は語った。「DCベンダーはUPSユニットの設置を許可してくれましたが、消防法に基づき、緊急電源遮断（EPO）回路への接続が義務付けられていました。」
ジョンは後者の、そしてその後に重要な事実をずっと後になるまで知りませんでした。
IT部門が発言すれば、ユーザーは耳を傾ける。さもなければ、その結果に直面することになる。
続きを読む
電話は金曜日の終わりにかかってきた。「UPS の 1 つが故障したという警告を受けたので、DC に行って確認することにしました。」
「案の定」とジョンは言った。「ユニットは困惑したような高音を発していたので、リセットすることにしました。
「かつてはファンやディスクの回転による大量のホワイトノイズがあった場所に、突然、大きな恐ろしい静寂が訪れました。」
すべての製造ラックから電源が落ちていた。「施設の残りの部分を見回してみましたが、どこも同じ状態でした」Unixマシン、Windowsマシン、SAN、スイッチ、すべてが機能停止状態だった。
当然、非生産機器は快調に稼働し続けていたが、ジョンにとってはそれはほとんど慰めにはならなかった。ジョンは「頑固にオフラインのままの UPS を再起動しようとしたが無駄だった」。
ジョンは電話をかけ、全員で何が起こったのかを調査するために現場に駆けつけました。「マネージャーが来てUPSの背面を確認したところ、EPO接続部から煙が漏れている痕跡が背面に残っていたんです。」
これがジョンがEPO回路について知った瞬間でした。
DC電気技師が呼び出され、「故障したUPSがEPO回路にショートしていることが判明しました…もちろん、このショートは他のすべてのUPSに共通しており、すべてのUPSが緊急電源オフ信号を受信していました。」
APC の最高級品内で何らかの不具合が発生し、EPO ワイヤーが内部で溶けてしまったため、簡単に引き抜くことができませんでした。
「今でも覚えているのですが、UPS の後ろに何人かの人が集まっていたんです。電気技師が、まるでひどいアクション映画で爆弾を解除するみたいに、EPO ワイヤーにワイヤーカッターを当てて、『本当にこれをやってもいいんですか?』と聞いてきたんです。」
我々は「Die Hard with a UPS」のようなブルース・ウィルスのアクション映画を今後期待しています。
幸運を祈って、そして、バックグラウンドでドラマチックな音楽が鳴り響く中、ケーブルが切断され…「すべてがすぐに元通りになりました。」
チームが、突然のシャットダウンによって何も問題が残っていないことを確認し、オンラインに戻ったことを確認するために充実した時間を費やした後、ジョンは生産停止に至った一連の出来事について尋問を受けました。
「しばらくして、UPS のギアが取り外されました。」
断熱材の焼ける匂いが鼻をつく前にリセットボタンを押してしまった経験はありませんか？あるいは、トレーニングで重要な設定情報を見落としていたことに気づくのが少し遅すぎた経験はありませんか？私たちはまさにそのような経験があり、その際に電源が焼けてしまったという経験があります。On Callまでメールであなたの体験を共有してください。
20年前、あなたはどこにいましたか？ COBOLを必死にカットしたり、日付フィールドに重要なバイトを1、2バイト追加したりしていましたか？ それとも、2050年まで持ちこたえ、爆発するかもしれないお手製のものを作っていましたか？ 誰ですか？ 私ですか？ オンコールは、皆さんの忌まわしいY2K体験談も聞きたいと思っています。失敗寸前で難を逃れた話で、楽しいひとときをお過ごしください。®
