AI进化图谱｜DeepSeek开源推理框架DeepInfer，单集群日处理155万亿Token 原创

产联社编辑丨开蓉蓉

图片由AI生成

【产联社】DeepSeek开源推理框架DeepInfer，并披露大规模服务的运行数据。10月20日，DeepSeek宣布开源内部推理框架DeepInfer及Token编解码组件deepseek-recipe。DeepInfer集成高性能计算算子与推理引擎，支持分布式推理、推测解码、异步调度和结构化输出，兼容英伟达及华为昇腾的特定硬件平台。

DeepSeek同时披露，基于相关技术运行的现有推理系统，单个集群日均处理约155万亿Token。不过，当前开源版本主要提供离线推理能力，完整线上服务所需的缓存管理及负载均衡组件尚未全部开放。