オンコール週も終わりに近づき、金曜日から週末まで続く楽しい転落劇が始まります。まずは、The Registerの「オンコール」特集で、他人の愚かな行動に翻弄され、立ち向かわざるを得ない不運な人々の物語から始めましょう。
今日の話は、一緒に働いていた人たちの恥ずかしさを避けるために「ブラッド」と呼ぶことにする読者から来たもので、世紀の初めにさかのぼります。
ブラッドは政府機関でUnix/Linuxの管理者を務めていました。「フェイルオーバークラスタでソースコードリポジトリを運用するSolarisサーバーを2台運用していました」と彼は語りました。
GitHubやその類のサービスの気まぐれに頼っている人たちにとっては涙が出るかもしれないが、「あれは簡単な部分だった」と彼は言った。「彼らはただ逃げ出しただけだった」
消極的な丸太漁船：責任は後部で止まる
続きを読む
当時、この代理店は大規模な NetWare ショップであり、よくあるように、電子メール プラットフォームとして GroupWise を使用していました。
コラボレーション プラットフォームの元祖である GroupWise を知らない人のために説明すると、GroupWise は、WordPerfect が電子メール、カレンダー、スケジュール管理を実現したツールであり、その後 1990 年代初めに Novell に買収され、WordPerfect Office に GroupWise という名前が付けられました。
WordPerfect は再度売却されることになったが、Novell は GroupWise を自社で保持することを選択した。
通常、これは Brad にとって頭痛の種にはなりませんでした。「通常、GroupWise はシングルコア プロセッサでもスムーズに動作しました。」
しかし、問題の日、事態は順調に進まず、ブラッドの元には助けを求める電話、少なくとも説明を求める電話が殺到しました。サーバーの1つがメールシステムに過負荷をかけているので、どうにかしてほしいとのことでした。ネットワークチームのスーパーバイザー（「滅多に会わない」）までもが関与してきたのです。
問題のサーバー名を知ったブラッドは、何が起こっているのか調べるために急いでログインしたが、なぜ初めてサイダーを発見した十代の若者のようにメールが大量に送られてくるのか、さっぱり分からなかった。
「サーバーにログインしてみると、約 50 パーセントの能力で動作していることがわかりました (これは SPARC ハードウェアであり、NetWare が動作していたあのひどい Intel のハードウェアではありません。また、SPARC サーバーはデュアル コアだったはずです)。」
予想通り、sendmail は膨大な量の CPU を消費していました。
ブラッドはサーバー上で稼働しているアプリケーションを担当するチームのところへゆっくりと歩いて行った。すると、チームがアップグレード作業を行っており、すべてのソースファイルに微調整が必要で、それらをすべてチェックインする必要があったことが判明した。
現代のパイプラインを管理している人たちは、この時点で青ざめるかもしれない。ブラッドはこう続ける。「アプリケーションは、成果物が変更されていることを元の投稿者、そして多くの場合そのチームに通知するように設定されていました。そのため、チェックインごとに 3 ～ 4 通のメールが生成されていました。」
「このリポジトリは何年も使われていました。ハードウェア自体はおそらく3～4年前のものでした。そして、リポジトリにソースコードが保存されているアプリケーションは5つほどありました。」
「それで、メールがたくさん来たんです。」
作業を始める前に誰かが通知をオフにし忘れていたことが判明しました。「作業の途中でオフにできるかどうか確認するつもりでした」とブラッドは付け加えました。
GroupWise を窒息させるほどの津波が解き放たれるよりも、単に「アップグレード中です!」と言うだけで十分だったでしょう。
ブラッドはデスクに戻り、Sendmailを徹底的に強制終了した。「5分ほどで、GroupWiseの管理者からシステムが正常に戻ったという連絡がありました。」
彼はアプリケーションの管理者がきちんと対応しているかどうかは知りませんでしたし、（私たちの知る限りでは）気にもしていませんでした。しかし、キューディレクトリに3.5GBものメールが待機中であることに気づきました。
rm *その日はブラッドの友人であり、その後再起動した後、sendmail はありがたいことに静かになりました。
電話を受けたら、誰かが何かおかしなことをしていた、なんて経験ありませんか？それとも、助けを求める声の原因はあなただったのでしょうか？オンコールデスクのハゲタカたちに、あなたの体験談をメールでシェアしてください。®
