Strata 推理引擎：GPU 基准与 kernel 级剖析

我围绕 Strata 推理引擎完成量化、上下文长度和并发请求对照，再用独立的无追踪实验复核一项内核改动。下表保留关键结果，完整实现、原始记录和后续计划仍在这篇对应的私有全文中。

参数与资源

项目	本次配置或实测用量
资源数量	1 张 GPU；各量化和版本串行执行
模型与引擎	Qwen3.8-Flash-Next；Strata 0.1.55
量化方案	IQ3_XXS、Q2_0、IQ3_S
上下文与缓存	上下文上限 131072 token；KV int8；MTP 开启，spec=4
并发配置	标准协议 4 个服务槽位；额外对照已测 8 客户端 / 8 槽位，不代表硬件并发极限
性能用例	短输入、4K、16K；输出上限 512 token，每用例每轮 3 次
独立标准运行	三种量化各 3 轮，共 9 轮；另有并发与内核实验
标准协议窗口用量	9 轮累计 732.158 秒 × 1 GPU = 0.20338 GPU·小时
设备显存采样峰值	IQ3_XXS 51195 MiB；Q2_0 42595 MiB；IQ3_S 58609 MiB

用量由各报告的必选与并发阶段墙钟相加，包含协议内暖机、性能与 sanity 检查，不含模型加载、额外剖析和内核试验。显存来自各量化的设备采样窗口，不能视为上述九轮逐次峰值或整个项目的精确累计；没有统一项目总计量就不填报总 GPU·小时。

量化与上下文结果

每个数值先取单轮协议内 3 次测量的中位数，再取 3 轮协议报告的中位数。速度单位为 token/s，TTFT 为首 token 延迟。

量化	输入	Prefill tok/s	Decode tok/s	TTFT 秒
IQ3_XXS	short	383	171.6	0.213
IQ3_XXS	4K	4437	155.2	0.936
IQ3_XXS	16K	5727	136.0	2.882
Q2_0	short	313	181.2	0.257
Q2_0	4K	6195	150.0	0.674
Q2_0	16K	7213	170.1	2.292
IQ3_S	short	373	164.1	0.218
IQ3_S	4K	4304	144.6	0.965
IQ3_S	16K	5715	139.1	2.888

这组矩阵中最高单路 decode 为 181.2 tok/s，最高 prefill 为 7213 tok/s，均来自 Q2_0。sanity 检查通过只代表这组小型检查通过，不能解释为三种量化的任务质量等价。

并发对照

四个短请求同时发出时，IQ3_XXS、Q2_0、IQ3_S 的合计吞吐范围分别为 201.4–207.2、210.5–218.7、207.6–210.4 tok/s。额外槽位实验使用独立负载，不能与标准协议混在同一个吞吐基线上。

客户端并发 / 服务槽位	TTFT p95 秒	请求延迟 p95 秒	合计输出 tok/s
8 / 4	1.70–2.22	2.99–3.04	168.1–170.9
8 / 8	0.70–0.86	2.64–2.86	178.6–193.7
4 / 4	0.34–0.72	1.62–2.05	124.8–157.6
4 / 8	0.31–0.71	1.61–2.05	124.9–159.2

槽位增加主要降低了八客户端时的等待，四客户端下变化很小；已测最高并发为 8，不将它写成全局最大并行度。

内核改动的独立复核

另一组同模型实验把目标内核每 block 的 warp 数从 8 改为 4，其余对照条件固定。每格为 3 次无追踪运行中位数；该组时序和负载条件与标准协议不同，数值分别报告。

版本	单路 decode tok/s	四路合计 tok/s	16K decode tok/s	冷 prefill tok/s
源码默认，每 block 8 warp	144.4	213.8	78.8	5765
候选，每 block 4 warp	147.3	213.3	78.2	5709

候选单路约高 2%，但同版本跨次波动约 5%–6%；四路与长上下文没有改善。两条 greedy 输出逐 token 一致，但这组证据不支持稳定的端到端加速结论。

阅读全文 →

完整实验记录保存在 pegasas-notes-v2 私有仓库，仅向已获仓库访问权限的账号开放。

← 返回项目笔记