计算框架 - pegasas (John Huang)

B · Foundations

计算框架

批处理、流处理与 SQL 引擎

批处理3 流处理1 GPU 计算1

批处理

HadoopHDFS、MapReduce、YARNGitHub ↗ SparkRDD、DAG 调度、Spark SQLGitHub ↗ Hive数仓与 SQL on HadoopGitHub ↗

流处理

Flink状态、检查点与 Exactly-onceGitHub ↗

GPU 计算

分布式训练见 AI Infra 分组GitHub ↗