Observability 2.0

# prod_values.yaml · Dynamic Allocation
minExecutors: 3   maxExecutors: 8
executor: 8 cores · 16GB

# 背壓三道閘
maxOffsetsPerTrigger:   180,000
minPartitions:          256
maxRecordsPerPartition: 2,000
processingTime:         180s

• 3–8 executors：低水位活著、高水位追資料
• 180 秒：延遲可接受、寫 Iceberg 小檔不爆
• 256 partitions：強制平行、不讓 Spark 偷懶
• 純 Spark 原生 scaling：不靠 KEDA / HPA

教訓：不追求秒級 · 換來成本可控 + Iceberg 寫入健康。

為什麼鎖單 AZ？跨 AZ 流量 $0.01/GB。

• Spark 拉 Kafka 壓縮後 ~2.8 TB/day
• 鎖單 AZ 省 ~$30–40K/年（全球）
• 壓縮前是 ~$200K → Kafka 壓縮 + 單 AZ 雙重砍流量

EMR on EKS 帶來什麼

• 跟其他 K8s workload 共用 cluster
• EMRFS · Glue Catalog 直接接 · IRSA
• 不養 EMR cluster · 不開 EC2 fleet

CREATE TABLE spans (...) USING iceberg
PARTITIONED BY (
  hours(start_time),
  is_valid_company,
  bucket(8, device_id),
  bucket(8, trace_id)
)
TBLPROPERTIES (
  'target-file-size-bytes'='536870912' -- 512MB
)

• hours(start_time) — 時間範圍查詢 99% 跳過
• is_valid_company — 過濾 invalid / null tenant
• bucket(8, device_id) — CUJ 的關鍵，同 device 落同 bucket
• bucket(8, trace_id) — 單 trace 單點查詢直達，不掃整小時

Grafana 已經會跟 Tempo 講話。不要重寫 Grafana —— 寫一個假 Tempo，背後接 Trino + Iceberg。

• GET /api/traces/{traceID}
• GET /api/search · /api/search/tags

⚠ 只 mimic API · 不 mimic 架構：Tempo Ingester 用 in-memory queue → RAM-bound；我們用 Kafka 當 buffer → disk 便宜、省一個元件。

# Trino row → OTLP protobuf
async def get_trace(trace_id):
    rows = await trino.query("""
      SELECT * FROM spans
      WHERE trace_id = ?
        AND start_time BETWEEN ? AND ?
    """, trace_id, t0, t1)
    return rows_to_otlp(rows)
# Grafana 不知道、也不在乎背後是什麼

❌ 沒時間範圍

SELECT * FROM spans
WHERE trace_id = 'abc...';
-- us1 planner 估:
-- 掃 82.73 TB / 176 億 spans
-- → coordinator OOM

✅ 加時間範圍

SELECT * FROM spans
WHERE start_time BETWEEN ? AND ?
  AND trace_id = 'abc...';
-- partition + bucket prune
-- 實讀 100 MB · CPU 1.1s

Columnar：SELECT 8 欄只抓那 8 根 column chunk，其餘連下載都不下載。

resource_attrs/span_attrs 是巢狀 rich payload（http 細節、自訂欄位）—— 全留的價值所在。不需要時不付錢、需要時只付那一欄。

Phase 1 · 每條 trace_id 一行

WITH session_matrix AS (
  SELECT trace_id, ANY_VALUE(device_id) device_id,
    BOOL_OR(span_name LIKE '%onboarding%') step1,
    BOOL_OR(span_name = 'Completed') step6, ...
  FROM spans
  WHERE start_time BETWEEN ? AND ?
  GROUP BY trace_id )

Phase 2 · 每個 device_id 一行

SELECT device_id,
  array_join(array_agg(status
    ORDER BY time), ' → ') AS journey
FROM session_matrix
GROUP BY device_id
-- dev-002 | A(OK)  ← 漏斗破洞