DeepSeek 开源 DSpark 推理加速框架：LLM 响应速度最高提升 85%
DeepSeek 正式在 GitHub 开源 DSpark 大语言模型推理加速框架，采用 MIT 许可证。该框架通过前置探针机制——让轻量级侦察模型预测大模型最有可能的推理路径，再由主模型快速验证——在保证不改变模型原始输出的前提下将推理速度最高提升 85%。DSpark 不修改模型权重、不压缩精度、不改变生成算法，而是从推理调度层寻找优化空间，使其具备广泛兼容性。已部署大模型应用的企业可直接集成以降低延迟和计算成本。
作者：核流编辑 · 栏目：系统
DeepSeek 正式发布了 DSpark——一个专门用来加速大语言模型推理的新框架，采用 MIT 许可证 在 GitHub 上开源。这框架的核心玩法是一套"前置探针"机制：不改变模型原始输出，却能把推理速度最高提升 85%。听起来有点神奇，对吧？ 前置探针：以小博大的加速思路 DSpark 怎么做到的？说白了就是让一个轻量级"侦察模型"先行几步，预测大模型最有可能采取的推理路径，随后主模型只需快速验证这些路径的可行性。这套"猜测-验证"打法，大幅减少了主模型在每一步都需要穷举搜索的计算开销，响应时间自然就缩短了。 对于已经部署大模型应用的企业和开发者而言，推理速度上来了，意味着更低的延迟和更好的用户体验，单位查询的计算成本也能降下来。而且 DSpark 的实现不依赖特定硬件架构，理论上可以适配主流大语言模型和推理后端。 开源生态的重要补充 大模型推理优化这条赛道越来越挤，但 DSpark 的策略走的是另一条路——它不修改模型权重、不压缩精度、不改变生成算法，而是从推理过程的调度层找优化空间。这种"非侵入式"的加速思路，兼容性更强，落地门槛也更低。MIT 许可证一给，商业集成在法律上也毫无障碍。回过头来看，DSpark 很可能成为 LLM 推理 pipeline 里的重要基础设施组件。 参考资料 VentureBeat：DeepSeek open-sources DSpark, a new framework to speed up LLM inference by up to 85%