京都研究所の田中です。マイクロアドでは、Redash上に作成されたクエリを利用してデータ抽出が行われています。この記事では、Redashの利用者がクエリの混雑状況などを簡単に確認できるように作成した監視ダッシュボードを紹介します。

背景と目的

Redashから接続しているデータソースのうち、マイクロアドで最もよく利用されているのはImpala（Hadoopクラスタ上で動作する分散SQLクエリエンジン）¹です。 RedashからImpalaを利用する体制で運用していく中で、

クエリの混雑状況：現在実行中のImpalaクエリの一覧や総数
クエリの進行状況：該当するクエリがいま何％くらい進んでいるか
ゾンビクエリ：Redashの画面上でキャンセルしたクエリのプロセスが生き残っていないか

などをビジネス側のRedash利用者が自分で確認する方法がないという課題がありました。

エンジニアであればCloudera Manager（Hadoop管理ツール）²や Impala Web User Interface for Debugging ³を使ってこれらを確認できます。しかし、このようなエンジニア向けのツールをそのままビジネス側のスタッフに開放することは現実的ではありません。これらのツールの権限管理・運用・セキュリティ上の問題や、画面に表示されている内容のわかりにくさが主な理由です。

そこで、クエリの混雑状況などを簡単に確認できる画面を作成して、ビジネス側へ提供することにしました。

構成要素

クエリの実行状況を取得して可視化するまでを以下のような流れで設計しました。

データソース

Impalaのクエリはデータセンター内に構築されたHadoopクラスタ上で実行されます。このHadoopクラスタから、後述するImpaladサーバーのAPIエンドポイントが提供されています。実行中のクエリの情報はこのAPIを利用して取得します。

データ収集アプリ

実行中のImpalaクエリの情報を取得し、必要な情報を付与するなどの加工をした上で、ダッシュボード側に書き込みます。

ダッシュボード

用途はクエリの実行状況を確認するだけなので、できるだけ手間を掛けずに開発・運用できるツールが望ましいと考え、スプレッドシートを採用しました。⁴
データ収集アプリがスプレッドシート内の書き込み用のシートにデータを書き込み、そのデータを別の表示用シートから参照して見た目を整えます。この表示用シートをRedash利用者にクエリ監視ダッシュボードとして利用者に提供します。

可視化までの流れ

1. Impala Web UIのAPIを利用して、Impalaで実行中のクエリの一覧を取得

Impalaで実行中のクエリの情報は以下のようなAPIエンドポイントから取得できます。⁵

http://impala‑server‑hostname:25000/queries?json

このAPIを使って、クエリがサブミットされる可能性があるすべてのimpaladサーバーにアクセスし、クエリ情報を取得します。こうすることでImpalaで実行されるすべてのクエリの情報を集約できます。

2. 取得したデータを加工して書き込み用の形式に変換

Impala Web UIのAPIから取得できるデータはjson形式になっています。実行中のクエリに関するデータは in_flight_queries というキーの中に入っているので、これを抽出します。実行中のクエリ1つに対応するデータは以下のようになっています。

{
    "effective_user": "user_x",
    "default_db": "xxxxxx_db",
    "stmt": "select col1, col2 from table_name where col3 = 'xxx' ",
    "stmt_type": "QUERY",
    "start_time": "2024-08-06 15:00:00.000000000",
    "end_time": "1970-01-01 09:00:00.000000000",
    "duration": "1m1s",
    "progress": "86 / 803 (10.7098%)",
    "state": "RUNNING",
    "rows_fetched": 0,
    "query_id": "xxxxxxxxxxxx:xxxxxxxxxxx",
    "last_event": "All 12 execution backends (37 fragment instances) started",
    "waiting": false,
    "executing": true,
    "waiting_time": "1m1s",
    "resource_pool": "resource_pool_name"
}

Impalaのユーザー（effective_user）、クエリ（stmt）、経過時間（duration）、クエリの進行状況（progress）など、必要な情報は一通り取得できます。

また、Redash（v10.1.0）でImpalaのクエリを実行すると、クエリに自動的に以下のようなコメントが挿入された後でサブミットされます。

/* Username: user_name1@example.com, query_id: 1000, Queue: queries, Job ID: XXXXXXXXXX, Query Hash: YYYYYYYYYYY, Scheduled: False */ select col1, col2 from table_name

このコメントを利用して、クエリの実行者（メールアドレス）、redashクエリのURLを抽出します。クエリのURLは以下のようにクエリIDとRedashサーバーのホスト名を組み合わせて作成します。
（例：query_id: 1000 → URL: https://<redash-host-name>/queries/1000 ）

3．閲覧用シートの作成

ダッシュボードとして利用するスプレッドシートを用意し、その中に「書き込み専用のシート」と「閲覧専用のシート」を作成します。「書き込み専用のシート」は上記のデータ収集アプリが書き込み先として利用します。「閲覧専用のシート」はquery関数などを利用して「書き込み専用のシート」上のデータを抽出し、罫線やフォントなどの見た目を調整してダッシュボードとして使います。

4．スプレッドシートへデータを書き込む

書き込み先のスプレッドシートの中に作成した「書き込み専用のシート」に加工したデータを書き込みます。

データの書き込みは毎回「書き込み専用のシート」のデータをすべて削除したあとに実行します。そのためダッシュボードで確認できるクエリの混雑状況は最新のものだけで、過去の状況までは表示されません。ただし、スプレッドシートは変更履歴が確認できるため、過去分のデータをデータベースなどに蓄積しなくても簡単な確認が可能です。