開発者と監視

Mackerel Monitoring Seminar in Mercari

Nov 28th, 2017

Profile

songmu

id: Songmu (ソンムー)
Masayuki Matsuki
おそらくはそれさえも平凡な日々 http://www.songmu.jp/riji/
https://metacpan.org/author/SONGMU
はてな東京オフィスチーフエンジニア
Mackerel プロダクトオーナー
50+ CPAN Modules
3 Times ISUCON Winner
- 今年は3位
「みんなのGo言語」共著者

Mackerel本発売中

Agenda

開発者と監視に纏わる話をケーススタディを交えながらお話します

監視とテスト

監視とは継続的なテストである
~ 奥一穂
http://developer.cybozu.co.jp/archives/kazuho/2010/01/cronlog-52f2.html

監視とは本来システムに対する継続的なインテグレーションである

テストと監視

開発者がテストを書くことは当たり前になった
監視はどうか

監視に対する抵抗感

難しそう/よくわからない
謎の画面
インフラの人が設定してくれるもの
そもそも監視してない

モニタリングの重要性の向上

すべてのサービスで健全性と一般的な監視関連のメトリックを同じように出力することをおすすめします。(中略) どれを選んでも、標準化するようにしてください。

やっていくしかない(みたいなことが書いてある)
Webサービスへの要求の向上
リアルタイム性
監視からは逃げられない

監視とはシステムに対する高速健康診断

一般的な健康診断

健康診断の結果
- 分かる数値とわからない数値がある
システム監視も同じ
- 分かる数値を追いかける/分かる数字を計測する
- ex. 体重/血圧

監視は難しくない

「難しくない」範囲で監視する
項目がたくさんあって混乱しがちなのは確か

何を監視すれば良いのかを考える

メトリックを取得可能にする
- メトリック取得のためのインターフェースを切る
- 監視のための内部的なJSON APIを作るのが良い
  - ジョブ数
  - 監視したいテーブルのレコード数
コード化する

監視のコード化

実は監視は結構コード化されている
- インフラエンジニアにとっては常識
監視プラグインフォーマットはそれなりに統一されている
実は単なるコマンド実行
- 終了ステータスと標準出力でやりとり
- 言語はなんでもいい
アプリケーションエンジニアはコードを書くのは得意

監視プラグインフォーマットは大きく分けて2つ

チェック監視
- OK/NGを定期的に判定するもの
メトリック監視
- 数値データを定期的に取得するもの
- 可視化
- 閾値設定によるアラート

チェック監視

OKかNGを判定する
OK/Warning/Critical/Unknown
コマンド終了ステータスで状態を判定
- 0: OK
- 1: Warning
- 2: Critical
- Other: Unknown

Nagios/Sensu/Consul/Mackerelとかで使われている

メトリック監視

時系列データの

キー
値
timestamp

を空白区切りで出力する

% ./battery.pl
macbook.pmset.ib0       73      1467427252

Sensu/Graphite/Mackerel等で使われている

プラグインの書き方

以下をご参照ください

開発者と監視

テスト駆動開発は、プログラミング中の不安をコントロールする手法だ
~「テスト駆動開発」まえがき

開発者こそ監視する

アプリケーションに関しては開発した人こそが何を監視すればいいか知っているはず
「不安な箇所」を監視する

様々な不安

ユーザー新規登録/ログインが止まっている
バッチジョブに時間がかかりすぎている/コケている
キューにジョブがたまりすぎている
ガチャの確率が誤っている
etc.

監視しながら開発する

雑でも良いのでチェックスクリプトを書く
監視の口を開ける

監視の口を開ける？

モニタリングエンドポイントを生やす
あるURLにアクセスすると監視用のデータが返ってくる
- 現代だとJSONだと良い

監視の口を開けることについて

https://metacpan.org/pod/Gearman::Starter

監視の口を開けたのはkazeburoさん

http://blog.nomadscafe.jp/2010/07/gearman-worker-process.html

監視の口を開けてもらう活動(h2oの場合)

ケーススタディ

サーバレスアーキテクチャによる時系列データベースの構築と監視
goroutineリークにリリース前に気づけた話
外形監視監視用のデーモンを書いた話
バッチジョブの監視
ISUCON6予選運営の話

サーバレスアーキテクチャによる時系列データベースの構築と監視

https://speakerdeck.com/itchyny/serverlessconf-tokyo-2017

goroutineリークをリリース前に気づいた話

mackerel-plugin-gostats

Goのアプリケーションの各種メトリック取得用プラグイン
golang-stats-api-handler

fukata/golang-stats-api-handler

以下のように監視エンドポイントを生やす事が可能

http.HandleFunc("/api/stats", stats_api.Handler)

メトリックをJSONで取得

% curl -s http://127.0.0.1:8080/api/stats
{
  "time": 1511951792854050800,
  "go_version": "go1.9.1",
  "go_os": "linux",
  "go_arch": "amd64",
  "cpu_num": 1,
  "goroutine_num": 548,
  "gomaxprocs": 1,
  "cgo_call_num": 1,
  "memory_alloc": 19287544,
  "memory_total_alloc": 16883888738024,
  "memory_sys": 57522424,
  "memory_lookups": 1181603172,
  "memory_mallocs": 197996257029,
  "memory_frees": 197996111866,
  "memory_stack": 5210112,
  "heap_alloc": 19287544,
  "heap_sys": 45121536,
  "heap_idle": 15785984,
  "heap_inuse": 29335552,
  "heap_released": 0,
  "heap_objects": 145163,
  "gc_next": 26308000,
  "gc_last": 1511951770432061000,
  "gc_num": 1422876,
  "gc_per_second": 0.5930361979107467,
  "gc_pause_per_second": 0.792662,
  "gc_pause": [
    0.090007,
    0.030134,
    0.031483,
    0.030759,
    0.039025,
    0.096764,
    0.053129,
    0.031492,
    0.053069,
    0.034587,
    0.034232,
    0.022605,
    0.027835,
    0.022133,
    0.049394,
    0.042198,
    0.025538,
    0.029074,
    0.049204
  ]
}