サーバの運用をしていると、
- なぜかホストのCPU使用率やメモリ使用率が上昇するタイミングがあるが、なぜ（何が）そのタイミングで上昇しているのかわからない
- CPU使用率やメモリ使用率を通常時以上に使用しているプロセスにはあたりがついているが、なぜそのプロセスがそのタイミングでそのような使用率になっているのかわからない
というような状況にでくわすことがあります。
そして、そこから原因を調査していくのですが、今回、上記のような状況のデバッグに活用できるツール "Sheer Heart Attack" を作りました。
これはなに
指定のプロセスやメトリクスを一定間隔でトラッキングし、閾値を超えた時点で任意のコマンドを実行するバッググラウンドプロセス（以下、trackプロセス）を生成してくれるツールです。
例えば
「ホストのCPU使用率が80%以上になった時の ps auxf の結果を確認したい」
「あるPIDのプロセスが開いているファイルディスクリプタの数が100を超えた時の strace の結果を取得したい」
などの用途に活用できます。
trackプロセスはメトリクスのトラッキングやコマンド実行のほかに、
- コマンドの実行結果（STDOUT, STDERR）を構造化ログで記録する
- 指定の回数コマンドを実行したら終了する
- 指定の時間が経過したら終了する
- イベントごとにSlack通知をする
といった機能を持ち、カジュアルにプロセスやホストのメトリクスをトリガーとしたデバッグに活用できるようになっています。
使い方
一時的なインストールをするためのスクリプトを用意しているので、それを利用します。
root@kilr_q:~# source <(curl -sL https://git.io/sheer-heart-attack) You can use `sheer-heart-attack` command in this session.
そして sheer-heart-attack launch コマンドを実行します。
root@kilr_q:~# sheer-heart-attack launch
あとは、対話的に必要な設定を入力するだけで、trackプロセスが実行されます。
実行されたtrackプロセスはバックグラウンドプロセスなので、 そのサーバからログアウトしてもメトリクスをトラッキングし続け、閾値を超えたタイミングで指定のコマンドを実行します 。
設定するオプションや取得可能なメトリクスはREADMEに記載していますので、そちらをご覧ください。
なぜ作ったのか
実は、 @hiboma のProcDumpのエントリを読んでいて「ProcDumpみたいな汎用的なツールがあれば便利かも」と思っていたのでした。
そして、まさに冒頭に書いたような状況になり 、チームメンバと「あったらデバッグが楽そう」と話すことがあったので作成してみました。
デバッグツールとして作り込む
デバッグツールはいつも使うわけではありません。
なので、Sheer Heart Attackは
- 事前にインストールしている状況を求めない
- 使い方の事前把握は最小限にする
ということを念頭に置いて設計しました。
事前にインストールしている状況を求めない
これは簡単インストールのために source <(curl -sL https://git.io/sheer-heart-attack) のコマンドを用意することで実現しています。
上記URLの実体はシェルスクリプトで、mktemp -d で作成したテンプディレクトリに最新のsheer-heart-attackをインストールして、source でPATHを通す動きをします。
これは、GoReleaserのCI上でのインストール方法を参考にしました。
実は、Sheer Heart Attack以前に、tblsで同じようなスクリプト用意していたりします（こちらはCI用途）。
使い方の事前把握は最小限にする
オプション無しの sheer-heart-attack launch を実行するだけで利用できるようにしています。
また、必要なオプションは対話的に入力可能できるようにして、オプションを覚える必要がないようにしています（慣れてきた人用に --non-interactive オプションも用意しています）。
「 sheer-heart-attack launch を実行すれば使える」というところまで簡単にすることで、カジュアルにデバッグをできるようにしました。
というわけで
カジュアルに使えるので是非使ってみてください。
