現在位置SSEの更新検知方式
現在位置のSSE購読(GET /api/v1/geo/events/telemetry、geospatial-api-design.md 6.7節)は、
配信対象のうち更新のあった機体だけを送る。その「更新」をutm-backendが知る方式を比較し、10月デモの採用案と、
製品版で決め直す論点を残す。
CURRENT_TELEMETRYへ書き込むのは取り込みのLambda(telemetry-service-proto)で、 utm-backendには何も通知されない。連携点はDBだけである- UPSERTは
observed_atが現在値より新しいときだけ行を更新する(telemetry-er.md) - 要求は「人間が画面で見て最新と感じられること」である。1秒程度の遅れは許容し、途中の観測を1件残らず届けることは求めない
- 各インスタンスが自分の持つSSE接続へ配るため、どのインスタンスも全機体の更新を知る必要がある
| 方式 | 仕組み |
|---|---|
| A. トリガ+LISTEN/NOTIFY | current_telemetryのAFTER INSERT/UPDATEトリガでpg_notifyし、各インスタンスがLISTENする |
| B. 論理レプリケーション(CDC) | WALの変更をレプリケーションスロット経由でデコードする |
| C. Lambdaがイベントを発行 | 書き込み後にSNS・Redis Pub/Sub・IoT Core(MQTT)などへ発行する |
| D. ポーリング | 各インスタンスが周期的にcurrent_telemetryから飛行中の全機体を読み、接続ごとに前回送った状態との差分を取る |
A. トリガ+LISTEN/NOTIFY
Section titled “A. トリガ+LISTEN/NOTIFY”- 通知基盤に前例がある(
PgNotifyOutboxSubscriber、db/migrations/003_notification_outbox_notify.sql) - NOTIFYを含むトランザクションはコミット時にDB全体で直列化される。1Hz×機体数の書き込みで取り込みのスループットに効く
- LISTENは物理接続を占有するため専用DataSourceが要る。通知基盤の専用DataSourceは10月デモ限定で、製品版では外す方針である(課題No011)。同じ負債を増やすことになる
- LISTENしていない間の通知は消える。テレメトリは次の観測が1秒後に来るため実害は小さい
B. 論理レプリケーション(CDC)
Section titled “B. 論理レプリケーション(CDC)”取りこぼしがなく、コミット順に届く点が最大の利点である。ただし次の制約がある。
Aurora PostgreSQLの制約:
- 論理レプリケーションの送信元(publisher)になったクラスタではBlue/Greenデプロイを作れない(AWS)。utm-design-docsのADR-009(採用)はバージョンアップにBlue/Greenデプロイを使うと定めており(原文は「メージャードライバーバージョンアップ」。メジャーバージョンアップと読むのは解釈である)、Blue/Greenデプロイを作る間はpublicationを外してCDCを止める必要がある
- 論理デコードはwriterでしか動かない(AWS)。スロット1本ごとに全WALをデコードするため、writerの負荷がインスタンス数に比例する
- RDS Proxyを経由できず、クラスタエンドポイントへ直接つなぐ(AWS)
- 消費されないWALはスロットが保持し続け、
VolumeBytesUsedが増える。使われていないスロットはvacuumも止める rds.logical_replication = 1が要り、クラスタ全体のWAL量が増える。ただしAurora PostgreSQLのBlue/Greenデプロイもこの設定を要するため、ADR-009の方針の下ではB固有のコストではない
このアプリの構成で効く点:
- 全インスタンスが全変更を要するため、インスタンスごとにスロットが要る。スケールアウトやデプロイのたびに作って消すことになり、クラッシュすると孤児スロットがWALを溜める
- 上の対策は一時スロット(
TEMPORARY、セッション終了で消える)である。永続スロットから再開する前提のDebeziumは合わず、pgjdbcのレプリケーションAPIを直接使うことになる - デコード結果にRLSは効かない。組織で分離するときはアプリ側での絞り込みが必須になる
pgoutputはバイナリプロトコルで、geometryはEWKBの16進文字列で届く。自前でパースするか、wal2jsonを使うか、機体IDだけ受けて検索し直すかを選ぶ- ローカルとCIのPostgreSQLに
wal_level=logicalの設定が要る
C. Lambdaがイベントを発行
Section titled “C. Lambdaがイベントを発行”- 変更の発生源で通知するため最も素直で、DBに負荷をかけない
- telemetry-service-protoとインフラの変更が要る。10月デモには間に合わない
D. ポーリング
Section titled “D. ポーリング”- 外部の変更がない。問い合わせはインスタンスあたり1周期に1回で、SSEの接続数に比例しない
- 平均で周期の半分だけ遅れる
- 前回以降に受信した行(
received_atで区切る)だけを読む形にはしない。received_atは取り込みのLambdaが処理を始めた時刻でコミットより前になるため、区切りの直前に受信した行がコミット前で見えず、取りこぼす - 飛行中の全機体を毎回読むので、鮮度切れと
bbox外への移動も「前回あって今回ない」で検知できる - 返す件数は飛行中の機体数に比例するが、
CURRENT_TELEMETRYはobserved_at・organization_idに索引が無く(telemetry-er.md)、飛行を終えた機体の行も消さない(同「飛行終了後のカレントはデータモデルでは消さない」)。このため読む件数は、組織を跨いで過去に一度でも報告した全機体の数に比例する(1機1行)。デモの規模では問題にならないが、製品版の規模では見直しが要る - SSEの接続が1本もない間は問い合わせを止める
10月デモはDを採用する。理由は次のとおりである。
- 許容される遅れは1秒程度で(2章)、A〜Cの低遅延には価値が無い
- 飛行中の全機体と前回送った状態の差分を取るため、初期状態・鮮度切れ・
bbox外への移動・送信が詰まって飛ばした回の合流を、1つの仕組みで扱える - あわせて、DDL・インフラ・取り込みのどれも変えずに済む
検知のためのポートは設けない。方式が決まっていない段階で抽象を先に作っても、イベント駆動の方式と形が合う保証が無いためである。検知の部分は、全機体を読むListCurrentTelemetryPositionsUseCaseと、それを毎秒呼ぶTelemetryPositionStreamRegistryの配信の処理に閉じている。方式を替えるときは、この配信の処理を通知の受け口に置き換える。
6. 製品版で決めること
Section titled “6. 製品版で決めること”TODO: FOLLOWUP 315-01
- テレメトリのアーキテクチャは取り込み側を含めて再検討する予定で、本書のA〜Dはその材料であり候補はこれに限らない
- Bは4章のとおり、ADR-009のBlue/Greenデプロイの運用と衝突する
- Aは遅延の要求が厳しくなった場合の代案として残す。採るなら課題No011(専用DataSource)の決着と合わせて判断する