中证报中证网讯（记者 魏昭宇）8月1日，国产开源推理引擎“赤兔”正式发布v0.4版本。记者从北京清程极智科技有限公司（以下简称“清程极智”）处采访获悉，该版本在昇腾上推理速度达到了新高度，双方联合优化的效果为行业提供了新的技术样本。具体来看，昇腾910B单机推理Qwen3-32B达到吞吐量5000token/s。

公开资料显示，赤兔推理引擎是由清华系AI Infra明星创企——清程极智联合清华大学团队发布的开源项目。在今年三月首个版本发布时，赤兔通过底层算子优化（如GeMM、MoE的指令级重构）和编译技术创新，首次实现在无FP8硬件单元的算力芯片上原生运行FP8高精度模型，赋能众多存量算力芯片推理DeepSeek-R1满血版大模型。据悉，赤兔坚持“国产原生”技术路线，此前发布的版本已实现对昇腾、沐曦、海光等国产芯片的原生支持。

开源四个多月来，“赤兔”在两方面持续发力：一是扩展模型与算力平台覆盖，二是优化核心性能指标。赤兔引擎不仅提供较高的性能基线，其简洁的架构设计也降低了二次开发的门槛。一位正在清华大学攻读博士学位的开发者表示：“因为易于修改，并且可以支持多种算力平台，我们课题组正基于‘赤兔’开展大模型推理优化相关的科研实验。”

尽管v0.4版本已在一体机场景中展现出极大优势，但团队坦言，赤兔引擎在部分功能上仍需“补课”，“赤兔”下一阶段将重点攻关国产超节点算力的“开箱即用”，这一方向与WAIC2025上备受关注的“超节点”算力形态演进趋势高度契合。实际上，尽管官方公告中并未提及，但此次发布的版本已提供DP+EP并行策略（数据并行结合专家并行），这正是大规模集群推理的主流技术路线。

值得注意的是，除GitHub外，“赤兔”代码与镜像已同步至魔乐社区、Gitee、GitCode、Wisemodel等国内平台，配套中文文档降低了使用门槛。