工作负载基础训练与推理的负载特征GitHub ↗ GPU KernelsCUDA、Triton 与算子优化GitHub ↗ 框架与编译器PyTorch、XLA、TVMGitHub ↗ 数值与量化FP8、INT4 与量化方法GitHub ↗

并行策略DP / TP / PP / EPGitHub ↗ MoE 训练专家并行与负载均衡GitHub ↗ 训练优化ZeRO、重计算、通信重叠GitHub ↗

推理 ServingKV Cache、批处理与调度GitHub ↗ Strata GPU 基准本地推理引擎实测阅读 →

网络与存储NVLink、IB、RDMA 与存储GitHub ↗ 集群平台调度、资源与平台化GitHub ↗ 可靠性与性能容量规划与性能分析GitHub ↗ NVIDIAGPU、CUDA、互联与产品GitHub ↗