Anthropic开源FlashProve，探索大模型输出验证 原创

产联社编辑｜黄钰慧

图片由AI生成

【产联社】大模型回答的来源正成为AI安全研究的新课题。北京时间11月4日，美国人工智能公司Anthropic在社交平台介绍了开源研究原型FlashProve，尝试在不公开模型权重的情况下，帮助用户核验回答是否符合指定模型的计算结果。

Anthropic表示，企业通过第三方平台调用大模型时，可能希望确认实际使用的模型与自己选择的模型一致，另外，独立评估机构也需要核对，接受测试的模型与实际提供给用户的模型是否相同。

在Anthropic的测试中，FlashProve使用单张英伟达H100 GPU，批量生成证明时每秒处理约110个输入Token。不过，该系统目前仍是研究原型，生成证明所需的算力成本较高，支持的上下文长度和计算方式也有限制。

给大模型回答“验明身份”

FlashProve试图解决的问题是，用户如何核对模型服务是否符合事先的承诺。

仅凭回答内容，用户很难确定模型身份。即使回答质量不错，也不能由此证明它一定来自用户选择的模型。

Anthropic称，FlashProve的目标是让用户在不获取模型权重、也不必自己重新运行模型的情况下，核验被检查的输出是否符合承诺模型对相应输入的计算结果。

服务商先为一组模型权重生成标识，再针对指定输入和输出提供证明。验证者从可信渠道取得标识后，可检查证明覆盖的输出是否满足相应的模型计算规则。

不过，验证通过并不意味着所有问题都得到解决。首先，证明只能覆盖指定检查的内容；其次，验证者需要确认模型标识来自可信渠道。FlashProve的开源仓库提醒，验证通过本身不能确认这组权重属于哪个真实模型。

此外，来源验证也不能证明回答本身正确。如果模型给出了错误信息，验证通过不会让错误答案变正确。

生成证明时每秒处理约110个输入Token

Anthropic在一款大模型上测试了FlashProve，并公布了生成和检查证明所需的时间。

Anthropic选择Meta的Llama 4 Maverick作为测试对象。这是一款总参数量约为4000亿的模型。研究团队使用该模型经过4位量化处理的公开版本，并在特定计算方式下开展测试。

在该基准测试中，每个请求包含1024个输入Token，证明覆盖给定上下文后的一个输出Token。单张H100批量处理24个请求，生成证明约需223秒，按输入Token总量折算约为110个Token/秒。

每份证明平均约18.78 MB；验证端在CPU上使用24个线程，检查一份证明约需17秒。

Anthropic还列出了此前的相关研究作为参照。例如，开源方案VerInf也曾对Llama 4 Maverick进行证明测试。不过，双方使用的设备和测试条件不同，不能简单将结果换算为面向所有场景的速度提升倍数。

开源代码与证明，应用仍有成本门槛

FlashProve已经开放代码和相关文档，但目前仍是研究原型，证明生成成本和适用范围均有限制。

Anthropic此次发布的内容包括证明生成器、两个验证器、技术文档，以及用于检查核心安全性质的形式化证明。代码、证明和文档采用Apache 2.0许可证开源；项目仓库同时标明，该研究项目不再维护。

成本是目前的一项限制。Anthropic将FlashProve生成证明时处理输入文本的速度，与推理工具vLLM处理相同长度输入的速度作比较。按单张GPU计算，在其测试条件下，前者所需时间约为后者的70至95倍。

Anthropic使用单张H100测试FlashProve，比较用的vLLM则在八张H100上运行，且两者使用的模型数值精度不同。官方性能文档还说明，这一比较未计入启动和模型标识准备时间。因此，这不是企业实际费用的报价，也不能直接代表验证完整回答的成本。

适用范围也有边界。Anthropic称，目前系统支持的上下文长度最多为1024个Token，短于许多大模型对话中可能使用的上下文；测试针对的是经过特定整数处理的模型，以及每一步选择最可能输出的方式，其他计算和生成方式仍需进一步研究。

FlashProve的开源仓库还提示，采用较宽松的验证规则时，通过验证只表示输出满足相应限度，不能直接等同于与模型结果完全一致。

在安全验证方面，Anthropic使用形式化工具检查了协议的部分核心性质，但公司也指出，日常使用的快速验证器本身没有同等的形式化保证，仍需要进一步审计。

面向模型服务和独立评估

Anthropic提出的应用方向包括核对模型服务、检查输出是否符合承诺，以及协助独立机构开展模型评估。

对于通过第三方平台调用模型的企业，Anthropic认为，这类证明可以帮助用户核对，被检查的输出是否符合事先承诺的模型及其计算结果。对于模型评估机构，这类方法也可为核对测试模型与实际服务所用模型是否一致提供辅助，但仍需确认模型标识来自可信渠道，并检查证明覆盖的内容范围。

Anthropic还提出，若推理服务器受到攻击，验证机制可用于检查被证明覆盖的输出是否仍符合承诺模型的计算结果。

目前，Anthropic将FlashProve定位为研究过程中的阶段性成果，希望其他研究者在此基础上继续改进。企业实际采用情况及商业化部署安排还需等待官方进一步披露。

商务合作，请联系侯经理 18801065284（微信同号）

报料及内容合作，请联系chanlianshe2026（微信号）