【实战派】当DeepSeek把推理引擎也开源：中美AI Infra创业公司的下一站在哪里？ 原创

独家专栏作者  祁瑞峰

（祁瑞峰（Ken Qi），CaptionLens CEO与联合创始人，曾任零一万物联合创始人、爱笔（Aibee）科技联合创始人，在微软、甲骨文、SAP、史宾沙等公司任职多年，拥有逾 20 年的跨界领军经验，专注于AI、2B企业营销运营、企业数字化转型等领域。）

过去二十多年，从ERP、云计算，到计算机视觉、大模型，再到今天的AI Agent，我观察过多次技术产业的变迁。每次变迁都有一个相似的规律：某种原本稀缺、昂贵的技术能力，随着开源、标准化和产业规模化，逐渐变得容易获得。依靠技术稀缺性赚钱的公司开始失去定价权，但新的平台公司和商业模式又会在其上诞生。

最近DeepSeek的一次开源，让我再次产生了这种感觉。

2026年10月20日，DeepSeek开放了其大规模生产推理框架DeepInfer，以及负责协议转换、Prompt编码和Token编解码的deepseek-recipe，并公开了推理系统的重要技术设计。这次开放不仅包括优化算子，还涉及MoE并行、推测解码、异步调度等关键能力。虽然部分KV Cache管理和跨副本负载均衡组件尚未完整开放，但它释放的信号很明确：模型厂商正在把越来越多高性能推理技术变成公共基础设施。

这让我想到中国的潞晨科技、硅基流动、无问芯穹，以及美国的Fireworks AI和OpenRouter。

这些公司都在解决一个共同问题：如何让大模型的训练、部署和使用更加高效、便宜、可靠？但它们的商业化路径正在分化。

如果未来模型、算子和推理框架越来越开放，独立AI Infra创业公司还能靠什么赚钱？为什么美国一些AI Infra公司可以获得数十亿美元甚至更高的估值，而中国不少技术优秀的基础软件公司，却始终面临软件授权收入有限、客户付费意愿不足的困境？

更重要的是，如果今天我是一家中国AI Infra创业公司的负责人，面临DeepSeek的推理优化引擎的开源并持续开源，下一步应该如何转型？

一、AI Infra的四次价值迁移：从卖技术，到经营Token产能

回顾这一轮大模型基础设施的发展，我倾向于把它概括为四个阶段。当然，这更多是产业价值重心的迁移，并不意味着每家公司都严格按照相同顺序演变。

第一阶段，是训练优化。

2022年前后，大模型参数规模快速扩大，GPU、显存和通信带宽成为主要瓶颈。DeepSpeed、Megatron-LM、Colossal-AI等框架，围绕模型并行、流水线并行、显存优化和分布式训练展开竞争。

技术价值非常清楚：同样的模型，用更少的GPU、更短的时间训练出来，就意味着直接节省成本。

潞晨科技的Colossal-AI就是这一阶段的代表之一。

但训练优化很快遇到商业化难题：真正需要超大规模训练的客户相对集中，主要是头部模型公司、大型科技企业和科研机构。这些客户通常拥有自己的工程团队，也有动力采用开源技术自行优化。

技术价值很高，并不意味着独立软件公司能够获得同等规模的收入。

第二阶段，是推理优化。

随着大模型进入应用阶段，行业关注点从训练一个模型需要多少钱，转向模型每天处理数十亿、数万亿Token需要多少钱。

推理需求具有持续性，只要客户的AI应用在运行，推理成本就每天发生。因此，相比训练优化，推理优化拥有更广泛的潜在客户和持续收入基础。

但新的问题随之出现：vLLM、SGLang、TensorRT-LLM，以及模型厂商自己的推理引擎不断进步。优秀的优化方法会迅速进入开源生态。一家公司的推理性能即使领先30%，也未必能够长期维持这种优势。

第三阶段，是从出售推理软件转向出售Token服务。

既然客户不愿意单独购买推理优化软件，那就直接把优化后的模型能力包装成API服务，按照Token用量收费。

这相当于从出售发电机技术，转向直接出售电力。

硅基流动就是中国这一方向的重要代表。

不过，这里需要区分两种商业模式。一种是Token Reseller或Aggregator，采购其他模型供应商的API，通过统一接口、路由、计费和管理能力提供给客户。另一种是Self-hosted Inference，自己部署开放权重模型、管理GPU和推理引擎，直接生产Token。

前者主要经营模型访问和流量分发，后者承担实际推理生产成本。两者可以结合，但资本需求、成本结构和竞争壁垒截然不同。

第四阶段，是Token Factory。

Token Factory并不是简单拥有一个推理API，而是把GPU集群、模型部署、推理优化、请求调度、弹性资源、客户流量和计费体系整合起来，持续优化整个Token生产系统的经济效率。

它的核心指标不再只是每张GPU每秒生成多少Token，而是：在满足延迟、稳定性和服务质量的前提下，整个集群每投入一美元，最终能产生多少收入和毛利。

训练优化卖的是计算效率，推理优化卖的是执行效率，Token API卖的是模型使用权，而Token Factory经营的是规模化智能生产能力。

这四个阶段并不是彼此替代，而是商业价值逐渐向持续消费和客户需求靠近。

二、中国的三条路线：潞晨、硅基流动与无问芯穹

中国AI Infra创业公司有一个共同特点：底层技术能力并不弱，但独立软件商业化始终困难。

过去中国企业软件市场就有类似现象。数据库、中间件、开发工具、云原生基础设施等领域都有优秀团队，但客户往往更愿意为硬件、云资源、整体项目和交付服务付费，而不是为某个基础软件模块支付高额独立授权费用。

AI推理优化正在一定程度上重复这一结构性矛盾。

潞晨科技的路径，更接近从分布式训练技术向完整AI基础设施平台延伸。Colossal-AI提供了技术起点，公司随后拓展推理、模型和企业平台能力。

它的优势是技术深度，可以覆盖训练、微调、部署等多个环节。但挑战在于，客户究竟愿意为什么持续付费？如果每个企业都需要独立适配、大量工程服务和定制交付，最终可能重新陷入传统系统集成的困境。

硅基流动则更明确地走向推理服务和Token Factory。

平台累计注册用户超过1000万，服务13000余家企业客户，支持170余款模型，并覆盖多种GPU及国产AI芯片。这些数据说明，它已经不只是出售推理技术，而是在尝试经营Token生产和分发平台。

但注册用户不等于活跃付费用户，Token吞吐量不等于收入，收入增长也不等于利润增长。当API价格持续下降时，平台必须不断降低单位推理成本、提高资源利用率，才能保持合理毛利。但这个太难了，特别是GPU价格越来越贵，预先采购规模GPU集群的重资本投入，都给毛利与现金流带来巨大的压力。

无问芯穹则代表另一条路径。

它从软硬件协同、异构芯片适配和训推优化出发，进一步发展异构算力云与算力运营业务。

这在中国具有特殊意义。中国已经建设了大量由地方政府、运营商、云厂商和企业投资的智算中心。部分集群面临的真正问题，不是缺少GPU，而是缺少成熟的软件栈、稳定的商业需求和较高的资源利用率。谁能够帮助这些集群把算力转化为可销售的Token产能，谁就可能获得超越软件授权费的商业机会。

但算力运营越深入，越可能涉及设备采购、长期资源承诺、客户回款和资本开支。如果缺少稳定需求，Token Factory也可能变成另一种重资产算力生意。

所以，这三家公司虽然都来自AI基础设施领域，但正在寻找不同的利润位置：潞晨偏向训推平台，硅基流动偏向Token服务，无问芯穹则突出异构算力优化与运营。

note：一家之言的理解，若有偏差敬请指正。

三、美国Fireworks：为什么推理优化能够发展成高估值平台？

美国Fireworks AI是我认为最值得中国AI Infra创业公司研究的案例之一。

Fireworks创始团队拥有深厚的AI系统工程背景，公司从创立初期就围绕高性能推理服务展开，随后逐渐扩展到模型微调、定制训练和企业专属部署。

因此，它并不是简单沿着“训练框架公司→推理框架公司→API公司”的线性路线发展，而是以推理服务为商业起点，逐渐向企业模型生产平台延伸。

近期，Fireworks完成~15亿美元D轮融资，估值175亿美元，年化收入运行率超过10亿美元，每天处理超过40万亿Token。

我理解Fireworks的关键，不只是推理引擎快，而是它找到了愿意持续购买大量Token的客户。美国正在出现大量AI原生软件公司。Coding Agent、法律AI、企业搜索、客服Agent、数据分析等应用，每天都会产生持续的模型调用需求。

对于这些公司，推理不再是偶尔发生的研发成本，而是核心产品的生产成本。客户关心的不只是每百万Token多少钱，还关心响应延迟、模型定制、可靠性、扩展能力，以及自身产品能否快速迭代。

Fireworks把这些需求整合到一个平台中：客户可以选择开放权重模型，利用自身数据进行定制，再部署到优化后的推理基础设施上。

这就使其价值从“便宜的模型API”，延伸到“企业专属智能的生产平台”。

我认为，美国投资人所押注的，不仅是今天的Token收入，还有未来大量AI原生企业持续训练、部署和运营专用模型的需求。

当然，高估值并不代表商业模式已经完全验证。Fireworks仍然面临GPU成本、云厂商、模型厂商和开源框架的竞争。

但它至少证明了一点：推理优化技术本身未必能卖出高额软件授权费，把它转化为客户持续购买的生产级Token服务，商业空间可能完全不同。

四、OpenRouter：它卖的不是GPU效率，而是AI时代的模型入口

如果说Fireworks更接近Token生产工厂，那么OpenRouter代表的是另一种商业模式：模型访问、流量聚合和智能路由。

我原来对OpenRouter的理解，是它主要服务Prosumer、中小企业和开发者，为他们提供访问多模型的统一入口，并通过路由优化，在成本、能力和速度之间找到更合适的选择。

这个理解大体正确，但还不够完整。

OpenRouter首先解决的是模型访问碎片化问题。

开发者可能同时使用OpenAI、Anthropic、Gemini、DeepSeek和大量开放权重模型。如果分别接入不同供应商，就需要管理多套API、密钥、计费、限流、故障切换和模型版本。

OpenRouter把这些模型整合到统一API和账户体系中，让开发者能够快速试验、比较和切换模型。

平台已服务超过800万开发者，覆盖400多种模型，完成1.13亿美元B轮融资，其2026年8月年化收入运行率约为1.6亿美元。

OpenRouter与Fireworks最大的区别，是它不必自己生产所有Token。

它可以接入不同模型厂商和推理服务商，再通过统一计费、提供商选择、故障切换和路由能力向客户提供服务。它更像AI模型市场加智能网关，而不是GPU工厂。

但同时，OpenRouter并未能够自动理解所有用户任务，并总是选择性价比最高的模型。它现阶段的重要价值仍然包括统一访问、多提供商路由、模型发现、可用性和开发者体验。真正根据每个任务的复杂度、质量要求、上下文长度、延迟目标和预算，自动选择最优模型，还需要可靠的质量评估和任务反馈数据。

我认为这恰恰是它未来可能进一步建立护城河的方向, 但同时也是新创业公司的机会，针对特别是大B的这方面差异化的需求：

假设一个Coding Agent每天产生数十万次模型调用，有些只是简单分类和格式调整，有些需要复杂推理，有些涉及长上下文，有些必须调用最强模型。如果平台能够判断不同任务的难度，并在满足质量要求的前提下选择成本最低的模型，就可能显著降低客户的总体AI成本。这里真正需要优化的，不是Token单价，而是：

完成任务的总成本 = 模型调用成本 + 失败重试成本 + 延迟成本 + 人工纠错成本。一个便宜90%的模型，如果明显提高任务失败率，未必真的便宜。

因此，我理解OpenRouter未来更大的机会，是从Model Gateway进一步发展为Model Intelligence Router，甚至成为AI Agent的智能流量调度层。

当然，这个市场并不是蓝海。OpenRouter长期的竞争优势，必须来自规模、开发者入口、数据和生态，而不能只是API格式转换。

五、中美AI Infra的差别：技术之外，更重要的是市场与商业结构

看到Fireworks的高估值，再看中国AI Infra公司的商业化困难，很容易得出一个结论：中国基础软件卖不出钱，美国基础软件能卖大钱。

但我觉得这个判断过于简单。

首先，美国企业软件市场长期形成了成熟的软件付费习惯。企业愿意为数据库、开发者工具、云平台、可观测性和基础设施软件持续支付订阅费用。

中国市场则更容易把软件能力包含在云服务、硬件采购或整体项目中，独立基础软件的议价空间往往受到限制。

其次，美国拥有大量面向全球市场的AI原生应用公司。它们能够向全球客户收费，形成较高的客单价和持续增长的推理需求，因此也愿意向Fireworks这样的服务商支付较高费用。

中国AI应用市场同样庞大，但大量企业客户对价格更加敏感，部分AI应用仍处于免费获客、试点或项目制交付阶段，推理服务商面临更加激烈的价格竞争。

第三，中国市场还有国产算力生态这个特殊变量。

不同芯片的算子、通信库、软件工具链和性能特征存在差异，企业需要投入大量适配工作。这给硅基流动、无问芯穹等公司创造了机会，但也容易形成客户专属项目和较高交付成本。

第四，美国资本市场愿意为高增长AI基础设施平台支付较高的未来预期估值，而中国投资人通常还需要更加关注本地市场规模、政策环境、现金流和退出路径。

但这些差别并不意味着中国没有机会。

中国可能拥有一个与美国不完全相同的市场：大量异构算力资产需要被运营，大量企业需要低成本模型部署，越来越多行业应用需要稳定、合规、可控的AI服务。

中国AI Infra创业公司的核心问题，不是能不能做出高性能推理技术，而是能不能把技术转化为标准化、规模化、持续收费的商业服务。

六、DeepSeek开源的冲击：推理优化正在成为公共基础设施

回到DeepSeek。

过去，大模型公司主要开源模型权重，推理服务商则围绕这些模型建立部署和性能优化能力。

现在，DeepSeek不仅开源模型，还把内部生产推理系统的重要部分公开出来。

DeepInfer集成了FlashMLA、DeepGEMM、DeepEP等优化组件，并开放了并行、推测解码和异步调度等能力。虽然完整KV Cache管理和跨副本负载均衡尚未开源，当前支持范围也主要围绕DeepSeek自身模型，但其方向已经非常清楚。

模型厂商正在把更多高性能推理技术变成行业公共资源。对独立推理优化公司而言，这是一种双重冲击：

一方面，它降低了竞争者的技术门槛。原本需要大量研发投入才能实现的优化，可能随着开源项目成熟而变成标准能力。

另一方面，它也降低了Token Factory的生产成本，让更多公司能够以较低成本部署先进模型，从而扩大整个AI应用市场。

我在想，未来模型厂商、芯片厂商和开源社区会持续向推理框架层挤压。创业公司如果仍然把“我们的推理引擎比别人快20%”作为主要护城河，会越来越危险。因为单项性能领先的生命周期正在缩短。

但如果一家公司能够把不同推理引擎、不同芯片、各种模型和客户需求组合起来，实现跨集群成本优化、稳定交付和持续运营，它仍然可以创造价值。

这里让我想到过去云计算对虚拟化软件的影响。虚拟化技术曾经是重要竞争壁垒，但云计算真正创造巨大商业价值的，是把底层计算、存储、网络和管理能力整合成可以持续消费的服务。

AI Infra也可能经历类似变化。开源正在降低生产智能的技术门槛，但并不会自动解决智能生产的运营问题。

七、中国AI Infra创业公司的五条转型路径

如果今天我是一家中国AI Infra创业公司的负责人，我首先会重新审视自己的商业定位。

如果主要收入来自推理引擎授权、单模型部署优化和客户定制加速项目，我会非常紧张。因为这些能力未来可能越来越接近免费软件，客户也越来越难接受高额独立授权费用。

我分析，也许有五条值得考虑的转型路线。

第一条，从推理引擎转向Token Factory运营软件。

不一定自己采购GPU，而是为云厂商、运营商、智算中心和大型企业提供跨模型、跨芯片、跨集群的统一调度和运营平台。真正销售的是GPU利用率提升、单位Token成本下降和SLA保障。

这条路线尤其适合已经拥有分布式系统、推理引擎和异构芯片优化能力的团队。

第二条，从单模型优化转向企业级Model Gateway与智能路由。

企业未来很可能同时使用闭源模型、开源模型、私有模型和行业专用模型。平台需要在质量、成本、延迟、数据安全之间动态选择。

但我不建议只做简单的API代理，因为API代理很容易商品化。真正值得投入的是任务级评估、模型能力画像、动态路由、故障恢复和可观测性。

第三条，从推理服务延伸到Agent Runtime优化。

Agent和普通聊天最大的区别，是一次用户请求可能触发几十次甚至上百次模型调用，还包含工具调用、状态管理、长上下文、任务恢复和多Agent协作。

未来企业关心的可能不再是每百万Token多少钱，而是完成一次客户服务、生成一个软件功能、处理一张发票究竟花多少钱。这会创造新的基础设施需求：Agent任务调度、缓存、上下文管理、模型选择、工具调用可靠性、成本预算、任务评估和执行追踪。

但这类公司必须证明自己能够降低真实任务成本，而不是只增加一层Agent管理界面。

第四条，进入特定行业的AI基础设施。

金融、医疗、工业、政企等领域，对数据安全、私有部署、延迟、可审计性和系统集成有特殊要求。

通用推理框架可能开源，但这些行业的生产环境、合规要求和业务系统，并不会因此自动完成整合。这里仍然存在商业机会，只是需要避免重新走向无法规模化的项目定制模式。

第五条，利用中国技术与工程效率优势，以“入海”模式打造面向欧美企业的AI Infra平台。

这是我个人尤其看好的一条路径。

中国已经积累了大量优秀的AI基础设施人才、成熟的开源技术栈，以及快速开发、工程实现和持续迭代的能力。但在国内市场，企业对独立PaaS和基础软件的付费意愿有限，很多技术公司不得不依赖定制项目、云资源或整体解决方案获得收入。

那么，为什么不把这些技术能力直接用于欧美企业软件市场？

这里我特别想强调一个概念：不是传统意义上的“出海”，而是“入海”。

传统出海，往往是中国公司先在国内开发产品，再通过海外销售团队、代理商或分支机构，把已有产品卖到欧美。

而我理解的“入海”，是从一开始就把欧美作为主市场，在美国或欧洲设立真正本地化运营的公司，以当地客户需求定义产品，以当地团队建立品牌、销售、客户成功和商业合作体系，同时充分利用中国团队在研发、工程实现和产品快速迭代方面的优势。

它不是把中国软件翻译成英文，而是利用中国的技术生产力，建设一家真正服务欧美市场的本地AI企业软件公司。

我尤其看好一个产品方向：面向大型企业的Enterprise Model Gateway与Intelligent Routing Platform。

它可以借鉴Fireworks的模型托管与优化能力，也吸收OpenRouter的统一入口、多模型接入与路由能力，但不必完全复制它们面向开发者的公共API商业模式。

我设想的产品，是部署在大型企业AI应用与各种模型服务之间的统一智能基础设施层。

一方面，它能够连接OpenAI、Anthropic、Gemini、DeepSeek、Fireworks，以及企业自己托管的开源或专用模型；另一方面，它可以根据业务任务的质量要求、成本、延迟、隐私等级和可用性，动态决定采用哪个模型、哪个供应商、哪个部署环境。

对于大型企业，还需要提供统一身份认证、访问控制、预算管理、审计日志、敏感数据保护、模型评测、故障切换、SLA监控和合规治理。

更进一步，平台应该能够分析不同AI Agent的实际工作效果，而不只是统计Token消耗。

哪些任务可以用更便宜的小模型完成？哪些任务必须调用最强模型？哪些工作流因为反复重试而产生了不必要的成本？哪些模型升级真正提高了业务结果？这样的平台，最终优化的是企业完成真实业务任务的总体成本和可靠性。

在商业模式上，我甚至更看好企业版和私有化版本，而不是单纯依靠公共API转售赚取差价。（这里是指欧美海外市场，国内这类需求很难规模持续化。原因就是，大厂什么都干，与客户能干的也想干的逻辑）

例如，一家欧美大型金融、医疗、制造或专业服务企业，可以把这套Model Gateway部署在自己的AWS、Azure、Google Cloud环境，或者专属VPC、本地数据中心中。平台软件按年度订阅、企业许可、管理Token用量或受管模型端点收费；模型API和GPU资源则可以由客户直接向原厂采购。随着企业的模型接入、权限治理、成本策略、质量评估和业务工作流围绕平台建立，客户切换成本也可能逐渐提高。

但必须清楚，这不是一个无人竞争的蓝海。AWS、Microsoft、Google，以及LiteLLM、Portkey等平台，都在提供部分相似能力。

中国团队不能仅凭更低的研发成本，就假设能够获得欧美市场。

真正的差异化应该来自跨云、跨模型、跨部署环境的中立性，以及经过真实业务评估验证的智能路由和总体成本优化能力。

尤其对于欧美大型企业，安全和信任甚至可能比推理性能更加重要。

因此，“入海”不能只是注册一家美国公司、聘请几个本地销售，再把所有客户数据和核心运营都放在中国。

必须建立清晰可信的公司治理、知识产权归属、数据隔离、人员访问权限和安全审计机制。对于有严格监管要求的客户，应支持由客户控制的私有部署，确保敏感数据不离开客户环境，远程支持和软件更新受到明确约束。

欧美本地团队可以负责产品战略、企业销售、客户成功、安全合规和商业运营；中国团队则在合法合规的跨境协作框架下，发挥系统研发、性能优化和快速迭代的优势。

涉及知识产权转移、出口管制、数据跨境和供应链安全的问题，必须在公司成立之初就设计清楚。

我也不建议一开始就打造覆盖所有功能的Enterprise AI Platform。

更合理的路径，是先围绕一个能够量化价值的场景切入。

例如，为一家同时使用多个大模型的美国企业，建立统一模型网关和成本可观测性系统，在不降低任务成功率的前提下，通过模型路由、缓存、故障切换和请求优化，显著降低AI应用的总体运营成本。只有当客户愿意为这个结果持续付费，再逐步增加企业治理、模型评测、私有部署和Agent Runtime优化能力。

这条路线最吸引我的地方，是它可能把中国AI Infra公司的技术优势与欧美企业软件市场的商业价值结合起来。

中国团队不必在国内有限的软件预算中反复争夺项目，也不必为了扩大收入而承担越来越重的GPU资产，而是把自身的推理优化、分布式系统和产品工程能力，转化为欧美大型企业愿意持续购买的标准化基础设施软件。

当然，欧美企业销售周期、合规成本、品牌建立和客户信任门槛都不低。但对于真正具备国际化创业能力、懂企业软件、拥有核心AI Infra技术的团队，我认为这是一条值得认真探索的战略路径。

中国AI Infra创业公司的下一次机会，未必只是把Token生产得更便宜，也可能是利用中国的工程效率，在全球成熟的企业软件市场，帮助客户更聪明、更安全、更经济地使用Token。

这就是我理解的“入海”：不是把已有产品卖到海外，而是重新选择客户、市场、组织和商业模式，在新的市场中建立一家真正有竞争力的AI原生企业软件公司。

八、结语：当Token越来越便宜，谁还能赚到钱？

未来AI Infra产业的竞争，也许会发生很大变化：

模型和推理执行技术将持续进步，也会越来越开放；

Token Factory负责把算力变成稳定、低成本的智能产能；

Model Gateway与Intelligent Routing负责连接模型供应商与客户需求；

Agent Runtime则进一步把Token转化为真实任务结果。

这些层次未必都会诞生独立的大公司，云厂商、模型厂商和开源社区也会不断进入彼此的市场。但有一个方向越来越清楚：商业价值正在从单项技术优化，转向持续交付和客户实际成果。

DeepSeek不断开源，对依靠技术稀缺性赚钱的公司是压力，对能够聚合需求、管理资源、交付结果的平台则是机会。

对于中国创业公司，我认为还应该再加上一层思考：当国内市场难以充分兑现技术价值时，是否可以通过真正本地化的“入海”模式，重新选择市场与商业化路径？

过去，我们优化的是训练一个模型需要多少GPU；后来优化的是生成一个Token需要多少成本；

未来，我们更需要优化的是完成一项真实工作需要多少智能、多少时间，以及多少总成本。

如果这个判断成立，那么AI Infra创业的下一场竞争，可能不再是谁拥有最快的推理引擎，而是谁能最有效地组织、分配和使用Token资源并能帮助客户更有价值的提供智能服务，从而Infra也能成为一种按结果付费甚至分成的RaaS模式。

（扫码加入AI产业交流群）

商务合作，请联系侯经理 18801065284（微信同号）

报料及内容合作，请联系chanlianshe2026（微信号）