AI进化图谱｜蚂蚁百灵开源560B大模型，进一步降低部署门槛 原创

产联社编辑｜开蓉蓉

图片由AI生成

【产联社】蚂蚁百灵开源新一代大模型，量化技术降低部署门槛。10月15日，蚂蚁集团旗下百灵大模型宣布正式开源Ling-3.1-flash，面向开发者开放模型权重。该模型总参数约5600亿，每个Token激活约250亿参数，设计支持最高100万Token上下文。此次开源距离9月30日模型发布约两周。

根据百灵披露的技术方案，通过混合精度量化，模型权重占用由约534GB降至292GB，降幅约45%。在对应的Hopper架构GPU测试配置下，服务部署所需GPU数量由8张减少至4张，但实际部署仍受GPU显存、推理框架和运行负载等条件限制。