Spark Streaming与Flink实时数据处理方案深度对比

一、架构设计对比

维度	Spark Streaming	Flink
处理模型	微批处理（Mini-Batch）	真·流处理（Event-by-Event）
延迟级别	秒级（通常1-2秒）	毫秒级（可低至100ms）
状态管理	需手动维护（如updateStateByKey）	原生支持（Keyed State/Operator State）
时间语义	仅处理时间（Processing Time）	支持事件时间/处理时间/注入时间
容错机制	RDD检查点（Checkpoint）	Chandy-Lamport分布式快照

典型架构示例

# Spark Streaming词频统计
ssc = StreamingContext(sc, batchDuration=1)
lines = ssc.socketTextStream("localhost", 9999)
counts = lines.flatMap(...).reduceByKey(...)
counts.saveAsTextFiles("output")

# Flink词频统计
env = StreamExecutionEnvironment.get_execution_environment()
text = env.socketTextStream("localhost", 9999)
counts = text.flat_map(...).key_by(...).sum(1)
counts.print()

二、核心能力对比

1. 时间窗口处理

特性	Spark Streaming	Flink
窗口类型	固定时间窗口	滑动/会话/全局窗口
迟到数据处理	不支持	允许设置延迟容忍（Allowed Lateness）
水位线机制	无	支持事件时间水位线（Watermark）

Flink窗口示例

dataStream
  .keyBy(<key selector>)
  .window(TumblingEventTimeWindows.of(Time.seconds(5)))
  .allowedLateness(Time.seconds(10))
  .process(new MyProcessFunction());

2. 状态管理

维度	Spark Streaming	Flink
状态类型	仅键控状态	键控状态/算子状态/广播状态
状态后端	无内置	Memory/Fs/RocksDB
状态TTL	需手动清理	原生支持自动过期

三、性能基准测试

指标	Spark 3.2 (1s批次)	Flink 1.14
吞吐量（万条/秒）	85	120
99%延迟	2300ms	800ms
故障恢复时间	8-15秒	1-3秒
反压机制	动态批次调节	精准控制（TCP反压）

四、企业级特性对比

1. 资源管理

Spark：依赖YARN/K8s，静态资源分配
Flink：支持动态Slot分配，细粒度资源控制

2. SQL支持

功能	Spark Structured Streaming	Flink SQL
流批统一	✅	✅
CDC支持	有限	完整（Debezium集成）
动态表	需手动维护	原生支持

Flink CDC示例

CREATE TABLE orders (
  id INT PRIMARY KEY,
  product STRING
) WITH (
  'connector' = 'mysql-cdc',
  'hostname' = 'localhost',
  'database-name' = 'mydb',
  'table-name' = 'orders'
);

3. 生态整合

组件	Spark支持	Flink支持
Kafka	0.10+	全版本
HBase	批式读写	原生Sink
Iceberg	需Delta Lake	原生支持
机器学习	MLlib整合	Alink库支持

五、选型决策树

graph TD
    A[实时需求] -->|延迟<500ms| B(Flink)
    A -->|延迟>1秒| C(Spark)
    B --> D{需要复杂状态?}
    D -->|是| E[选择Flink]
    D -->|否| F[考虑Spark]
    C --> G{已有Spark集群?}
    G -->|是| H[Spark节省成本]
    G -->|否| I[评估学习曲线]