オンコール再び、 The Registerの金曜コラム「オンコール」へようこそ。このコラムでは、読者が技術サポートの難しいタスクについての体験談を共有します。
今週は、「ドットコムバブルが崩壊した後も、誰も消滅すべきだと言わなかったためになんとか生き延びていたゾンビウェブ企業の一つで働いていた」サムを紹介します。
同社には適切なシステム管理者がいなくなったため、適切な IT 運用は「何か問題が起きるたびに頻繁にパニックに陥る」状態になってしまった。
それはかなり頻繁でした。なぜなら、サムの同僚の一人は「どんな言語でも数秒で習得し、複雑なプロジェクトをあっという間に作成できるタイプの人」だったからです。
「唯一の問題は、会社全体が基本的に永続的なエラー状態にあるのに、彼はエラーチェックをほとんど行わないコードを書く傾向があったことです。」
システム管理者の不足は、サーバーの容量不足などの問題にもつながり、サム氏が「基本的には巨大なキュレーションされたアドレス帳だった」と語るクライアント プロジェクトでデータ損失の危機に瀕するなどの問題が発生しました。
「毎晩、.zipファイルを取得し、XMLファイルを抽出して最新の連絡先リストを作成していました。存在しなくなった連絡先は、全員のアドレス帳から削除されていました。必要はなかったものの、アカウンタビリティ確保のために.zipファイルのコピーを保管していました。」
システム管理者にとって最悪の顧客は…彼の母親だった！妹が助けを求めるまでは
続きを読む
この方法は、会社のサーバーのディスク容量が不足し、アプリケーションが保存できなかったファイルを解凍し、「いっぱいになったデータベース テーブルを新しい空のテーブルと交換し、無効な関係を探し始めた」までは機能していました。
データが欠落していたため、関係性がすべて失われてしまいました。その時点で、アプリケーションはすべてを削除しました。
バックアップ？この会社にはシステム管理者がいなかったことを思い出してください。しかし、サムはいました。彼は1週間の英雄的な行動で、システムを正常な状態に戻しました。
会社はそこから学んだはずだと思われるでしょう。
もちろん、そうではありませんでした。アドレス帳のもう 1 つの機能は、データベースから無効なアドレスを取り除けるように、返送された電子メールを監視することでした。
それは素晴らしいアイデアです。しかし、「ある夜、メールサーバーのディスクが破損し、ダウンしてしまいました。復旧作業が私の手に委ねられ、grep仕組みを漠然と理解していた状態から、壊れたメールサーバーを修復する旅が始まりました。」
サムはグーグルで何度も検索し、「エアコンがヒューヒューという音を立てるたびに、自分はハロンで殺されるんじゃないかとびくびくしながら」いった。
「ようやくメールサーバーが復旧し、最初のメッセージが届き始めるのを見届けました。そして家に帰りました。」
しかし翌朝、「クライアントはパニックになって電話をかけてきました。私たちからのメールが大量に返送されてきたのです」
サムは、今や「常駐の専門家」となり、任務に就きました。
「何が起こっているのかはすぐに明らかになりました。コードは新しいメールを見つけると、バウンスメッセージを送信し、そのメールを既読としてマークしていました。メールを削除したり、別の場所に移動したりはせず、ただ既読としてマークしただけでした。しかも、実際に動作したかどうかの確認もしていませんでした。メールサーバーがクラッシュすると、既読フラグを保持していたテーブルが破棄され、すべてのメールが未読としてマークされ、更新されなくなりました。」
数分ごとにcronタスクが未読メールを検索し、2年分のメールを発見してクライアントに送信しようとしました。しかし、既読にすることができず、次のタスクで同じ処理を繰り返しましたcron。
「クライアントにどれだけのメールを送りつけたかはわかりませんでしたが、シャットダウンするまでに、送信キューには 87,000 件のメールが溜まっていて、cron次のタスクがトリガーされる前にタスクが完了できませんでしたcron。」
「AOLを19時間クラッシュさせ、世界中のメールを1週間混乱させた」
続きを読む
この出来事には1年後、嬉しい続編がありました。サムの会社はGmailに移行していた頃、彼は親切にも「全員にメールの移行方法を詳しく教えてくれました」。
そして、それが終わると、彼は古いメールサーバーを廃止すると発表した。
「しかし、CEOは『必要な古いメールが含まれている』と主張して、オフラインにすることを拒否しました。」
サムが最後に聞いた話は、CEO を辞めてから約 4 年後、CEO が依然としてメール サーバーをオンラインのままにしておくことを主張していたというものでした。
「でも、私が辞める前にネットワークケーブルを抜いていたことに彼はまだ気づいていなかったんです。電源はまだ入っていて、彼は喜んでいました。」
サムのドット爆弾よりもひどい職場で働いた経験はありますか？もしそうなら、On-Callまでメールをください。今後の金曜日に、あなたの体験談をここに掲載できるよう努めます。®
