推理性能赛道杀出黑马

2026年9月27日，一则来自推理创业公司Inferact的测试数据引发行业震动：16块谷歌TPU v7运行Kimi K3模型，每秒产出709个token，比16块英伟达GB200快57%。做出这一成绩的不是月之暗面，也不是谷歌官方，而是一家成立不久的创业公司——创始团队是vLLM原班人马，今年刚拿了a16z领投的1.5亿美元种子轮，估值8亿美元。

这一结果的核心武器是一个名为megakernel的推理内核。它将推理时原本需要调度的几百个小程序”焊”成一个大程序，配合TPU的片上内存架构，将内存带宽利用率逼到硬件理论峰值附近，再叠加DeepSeek提出的DSpark加速框架，最终实现了碾压性的性能优势。测试条件完全对齐：两边使用同一模型、同一vLLM引擎，确保了对比的公平性。

megakernel技术的核心原理

要理解megakernel为什么能实现如此大的性能提升，需要从GPU和TPU的架构差异说起。传统GPU推理过程中，每个算子都需要独立的内核启动和调度，频繁的内核切换带来大量开销。而TPU的片上内存架构天然适合大规模矩阵运算，但传统推理框架并没有充分利用这一特性。

megakernel的做法是将整个推理过程中的几百个内核调度合并为一次执行，消除了内核切换的开销。这就像是把一段由几百个短曲子组成的交响乐，重新编排成一首连续演奏的长曲子，乐手不需要在每首短曲之间停顿调整。配合DSpark框架对计算图的优化，TPU的片上内存带宽被顶到接近理论峰值，这才是57%性能提升的真正来源。

对行业的深层影响

这次测试的意义远超”TPU赢了GPU”的表面结论。它揭示了一个重要趋势：推理优化的投入产出比现在明显高于换芯片。通过软件层面的深度优化，可以在不更换硬件的情况下获得巨大的性能提升，这对整个AI推理市场意味着重新洗牌。

对于从业者来说，vLLM系团队的二次创业正在吃这波推理优化红利。传统认知中英伟达在推理侧的护城河坚不可摧，但megakernel证明了软件层可以松动这一壁垒。自研芯片的性价比故事变得更加有说服力，这对谷歌TPU、国产算力厂商都是利好消息。访问 xhj.info 了解更多关于高速网络接入方案的信息。

推理算力市场的格局变化

从市场格局来看，推理算力正成为比训练更大的市场。随着大模型从训练阶段进入大规模部署阶段，推理成本成为决定AI应用能否落地的关键因素。Inferact的测试结果给市场传递了一个明确信号：推理优化赛道大有可为，软件层面的创新空间远未枯竭。

对投资者而言，英伟达在推理侧的垄断地位正面临挑战。虽然训练市场短期内仍以GPU为主，但推理市场的多元化趋势已经不可逆转。TPU、国产AI芯片配合优秀的推理框架，完全可以在特定场景下实现更高的性价比。对于需要低延迟网络环境来访问各类AI服务的用户，小火箭加速器以游戏级加速和极低延迟著称，详情可访问 xhj.info。

DSpark加速框架的贡献

在Inferact的测试中，DeepSeek提出的DSpark加速框架扮演了重要角色。DSpark是一个专门为大模型推理设计的加速框架，通过计算图优化、内存复用和动态批处理等技术，在不修改模型结构的前提下提升推理效率。它与megakernel的配合产生了协同效应：megakernel负责硬件层面的执行优化，DSpark负责软件层面的计算图优化，两者共同将TPU的性能潜力挖掘到极致。

这也反映了当前AI推理优化的一个重要趋势：单一技术很难实现突破性进展，需要从硬件架构、内核优化、框架调度等多个层面协同发力。Inferact团队正是凭借在vLLM项目中积累的深厚工程经验，才能在短时间内完成如此复杂的系统级优化。

对普通用户的影响

虽然megakernel和DSpark听起来离普通用户很远，但它们的影响最终会传导到每一个AI应用用户身上。推理效率的提升意味着同样的算力可以产出更多token，API定价有更大的下降空间。对于使用AI聊天、AI写作、AI编程等服务的用户来说，更低的API成本和更快的响应速度是直接的受益。

同时，推理优化也推动了AI应用从云端向边缘的扩展。当推理效率足够高时，更多AI功能可以在本地设备上运行，减少对云服务的依赖。这一趋势对网络基础设施提出了新的要求：既需要高速稳定的云端连接，也需要支持边缘计算的本地网络环境。

未来展望与技术路线

Inferact的突破只是推理优化赛道的一个开始。随着更多团队进入这一领域，可以预见几个发展方向：首先是megakernel技术从TPU向更多硬件平台扩展，包括国产AI芯片；其次是DSpark等加速框架与更多推理引擎集成，形成标准化的优化方案；最后是推理即服务模式的兴起，企业可以直接购买优化后的推理服务而不需要自建基础设施。

对于关注AI技术发展的用户来说，持续跟踪推理优化领域的进展至关重要。每一次推理效率的飞跃都会带来AI应用体验的质变，而稳定高速的网络环境是享受这些技术红利的基础保障。

vLLM生态与推理优化的未来方向

Inferact团队的megakernel突破，本质上是对vLLM生态长期积累的一次集中释放。vLLM作为开源推理引擎的标杆项目，已经沉淀了大量关于内存管理、批处理调度和内核优化的工程经验。Inferact创始团队正是vLLM的原班人马，他们将vLLM中验证过的优化思路推向了更深层次——从单个算子的优化升级到整个推理流程的内核融合。这种深度优化思路为推理性能提升开辟了新的技术路径，也激励更多开发者探索硬件特性与软件优化的结合点。

从未来方向来看，推理优化赛道还有巨大的提升空间。模型量化技术的进步可以让更大参数的模型在更少的硬件上高效运行， speculative decoding等新技术可以进一步降低推理延迟，而分布式推理框架的成熟则让跨设备协同推理成为可能。这些技术方向的交汇将推动AI推理成本持续下降，最终使AI服务像水电一样成为普惠的基础设施。对于需要低延迟访问AI服务的用户来说，高速稳定的网络环境是发挥这些技术优势的基础保障，游戏级网络加速方案能够为AI工具使用提供毫秒级的响应体验。

推理降本对AI应用生态的影响

推理成本的持续下降正在深刻改变AI应用生态的格局。过去由于推理成本高昂，许多AI应用场景在商业上不可行——例如为每个用户提供实时AI翻译、全天候AI助手或大规模AI内容审核。随着推理效率的飞跃式提升，这些场景正在从概念验证走向大规模部署。对开发者而言，推理降本意味着可以用更低的试错成本探索创新应用，AI应用的创新周期将大幅缩短。对用户而言，更低的推理成本意味着更丰富的AI功能和更实惠的服务定价，AI将从高端工具变为日常标配。

”’