オンコール ヘルプデスクの問い合わせや、やや受動的攻撃的なヘルプデスクチケットを受けた方々のストーリーをお届けするThe Registerのシリーズへようこそ。金曜日はオンコールでスタートしましょう。
今日の物語は、軽率な企業の排出による影響に対処しなければならなくなった「ジョン」の話です。
10年代半ば、ジョンはメディア業界で使用されるソフトウェアとハードウェアを専門とする米国の大手企業に勤務していました。顧客には、映画製作者、テレビ放送局、24時間365日体制のニュース番組、そしてレコーディングアーティストやライブパフォーマンス関係者などが含まれていました。
ジョンはショー全体のITマネージャーで、CEOの携帯電話から受付係のデスクトップまで、あらゆる機器の管理を担当していました。「一番の懸念は、データセンターに何が置かれているかでした」と彼は言いました。
ジョンが「イベント」と優しく呼んだその日は、P1レベルのヘルプデスクにチケットが届いたことから始まった。会社のウェブサイトがダウンしており、早急な対応が必要だったのだ。会議ブリッジが設置され、「いつものメンバーが世界各地から集まった」。
それは奇妙なもので、まるで分散型サービス拒否（DDoS）攻撃のようでした。「ウェブサーバー自体は稼働していましたが、ウェブサーバーのエンジンは毎秒数千ものリクエストに圧倒されていました。初期調査の結果、リクエストは世界中から来ていることが判明しました。単一のIPアドレス、範囲、国、組織は存在しませんでした。あらゆる場所からアクセスされていたのです。」
ええ、もちろんです。誰にも知らせずに、すべてのソースファイルに少しだけ変更を加えるだけです。何が問題になるでしょうか？
続きを読む
しかし、DDoS攻撃だったとは考えられませんでした。同社は多額の保護サービスを支払っていたにもかかわらず、Webサーバーエンジンが突如としてハンマータイムに見舞われるのを傍観していたようでした。
「まるでリクエストがDDoS防御サービスによってホワイトリストに登録されていて、何も行われていないかのようでした。」
問題は、世界中から送られてきたこれらのリクエストがどのようにしてホワイトリストに登録されたのか、という点でした。チームはさらに詳しく調査を進め、特定のユーザーエージェント文字列という形で恐ろしい真実を発見しました。
ジョン氏は、その会社の製品の内部の仕組みについて少し明かした。「会社のソフトウェアが販売され、顧客に導入されると、Chromium の劣化版であるアプリケーション マネージャーが付属します。」
この邪悪な作成物はユーザーのコンピュータに居座り、ライセンスをチェックしたり、アップデートを探したり、よくあるようなことをするために定期的に母艦に呼び出しをかけていました。
「ユーザーエージェント文字列はアプリケーションマネージャからのものでした」とジョン氏は認め、「おそらく不都合なことに、アンチDDoSサービスによってホワイトリストに登録されていたのでしょう。」
しかし、なぜ今、会社の Web サイトがアプリケーション マネージャーによって攻撃されるのでしょうか?
もちろん、アップデートをリリースした開発チームの責任ではあったが、「開発者たちは当時それを認めようとしなかった」とジョン氏は付け加えた。これは通常のやり方だったが、今回の流出にはアプリケーションマネージャーの調整が含まれており、コールホームの頻度が4時間ごとから4分ごとに変更されていた。
さらに悪いことに、最初のリクエストが失敗すると、ソフトウェアはすぐに再試行します。そして、再試行を続けます。
「アップデートが世界中に広まるにつれ、新しいバージョンが頻繁に本社に電話をかけるようになり、リクエストの数が急増して会社のウェブサイトがダウンしてしまいました」とジョン氏は説明した。
「その会社は自らDDoS攻撃を受けていたんだ。:facepalm:」
問題の解決は容易ではありませんでした。頻度を下げるアップデートをリリースすることができませんでした。というのも、既存のアプリケーションマネージャーが高度なDDoS攻撃の実行に忙しく、新しいコードを見つけてダウンロードする時間が取れなかったからです。
「これは困ったものだ」とジョンはため息をついた。
結局、「すべてのトラフィックがHAProxyを実行するLinuxサーバーのレイヤーを経由するように、新しいVMを起動するのに数時間を費やしました。」彼はアプリケーションマネージャーのトラフィックを切り離し、リクエストのごく一部を成功させることができ、修正されたコードは徐々に展開されました。
「これが、アプリケーション、会社、ボリュームに関係なく、すべての Web トラフィックの前に HAProxy を展開するようになった理由の 1 つです...」
On Callに、緊急性の高いヘルプデスクチケットも含まれるようになりました。特にひどいトラブルに遭遇したり、他人の自滅的なトラブルへの対応に何時間も費やした経験はありませんか？もしありましたら、On Callまでメールでお知らせください。®
