上海AI Lab开源Sage S2.1 Flash技术报告:四项智能体基准SOTA,科学多模态感知如何融入通用智能体?

· 2026-11-20 11:58 · 2 阅读

机器之心 2026-11-20 11:58 山东

披露总参数量达 320B 的混合专家模型的完整训练流程与技术细节。

图片

只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。

近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校,正式发布 Sage S2.1 Flash 技术报告。报告系统披露了这一总参数量达 320B 的混合专家(Mixture-of-Experts,MoE)模型的完整训练流程与技术细节,读懂分子和光谱、接连调用工具、在专业软件中交付作品,这几项本领如今集中在了同一个模型身上。

上线首周,好评不断

上线首周,Sage S2.1 Flash 在真实用户的实际使用中收获了不少积极反馈,多名体验者评价模型 “快且聪明”,在多轮任务测试中感受到流畅的工具调用体验;在更贴近实际开发的场景中,模型也能承担完整的任务执行;在” 鹈鹕测试” 中,模型生成的画面也获得了体验者的大力肯定。

统一科学多模态架构

让模型直接理解科学数据

Sage S2.1 Flash 采用 320B 混合专家(MoE)架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力支持长上下文处理。模型主干能够在共享上下文中处理文本、图像和科学数据表示,为复杂推理与多步骤任务执行提供基础。

这一通用模型主干为科学数据理解、代码执行、复杂检索和专业软件操作提供了共享的推理能力,也为进一步接入科学专用模态奠定了架构基础。

Sage Sci-Perception:

将结构化科学数据接入通用语言模型

针对分子、蛋白质、核酸及光谱等科学数据,研究团队设计了 Sage Sci-Perception 科学多模态感知模块,采用 MoleculeSTM(分子结构)、ESM-2(蛋白质序列)、DNABERT-2(DNA)、RNA-FM(RNA)、DiffSpectra(光谱数据)等专用编码与表示方法,提取原子连接、序列依赖及连续测量信号等特征,并通过可训练的模态投影器映射至语言模型的统一表示空间。训练阶段结合监督学习与强化学习,构建分子性质分类、蛋白质相互作用位点预测、原子计数及结构关系查询等可验证任务,利用分类准确性、集合重叠度和数值误差等指标提供奖励信号。

规模化可验证环境:

构建智能体后训练体系

为提升模型在复杂任务中的自主执行能力,研究团队构建了覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互的可验证的训练环境,并通过独立的科学强化学习机制优化科学多模态理解能力。

ToolSpace:从真实工具调用中自动构建复杂任务数据

在工具调用能力训练中,研究团队提出 ToolSpace 框架,从 MCP 工具服务与真实智能体轨迹中提取工具定义、调用参数及执行结果,构建涵盖数据传递、环境状态变化和失败恢复关系的工具组合图。基于状态感知随机游走,系统自动生成跨工具、跨环境的调用序列,并通过执行条件检查、失败回滚与重新采样确保序列可执行。随后将成功轨迹转化为自然语言任务,生成针对最终状态、关键中间状态及输出字段的验证程序,筛选可复现的训练数据。最终构建了覆盖 2,042 种工具、77,760 个调用模式节点和 804 个环境的工具协作空间,生成的监督微调轨迹平均包含 18.86 次工具调用,最长达 209 次,平均跨越 2.29 个环境。

ML Coding:构建可执行、可验证的机器学习科研任务

在机器学习工程方面,研究团队构建了从真实科研材料收集、任务合成到实验执行验证的自动化训练流水线。系统整合 4,936 条 Kaggle 数据来源、2,960 篇研究论文,以及 Hugging Face、GitHub 等平台的代码与数据资源,通过数据接口、训练入口和评测指标匹配数据集与算法实现,并在固定依赖的容器中验证环境可用性。

训练任务涵盖预测建模、算法实现、论文复现和模型后训练。其中,系统通过移除损失函数、特征变换或参数更新等核心代码,构建需要模型自主补全的算法任务;对于开放式实验,则要求智能体自行设计方案并执行训练。最终,所有任务通过 Harbor 封装为可复现环境,将任务指令、执行环境与私有评测程序隔离,并通过代码运行结果、预测指标和模型权重验证任务完成情况。

视觉智能体:从界面感知到连续操作

科学研究不仅需要理解专业数据,还涉及大量图形界面的软件操作。为此,研究团队采用分阶段训练策略,提升模型在动态视觉环境中的任务执行能力。

  • 第一阶段使用图像识别和单步点击任务,训练模型理解界面元素、定位交互目标,并根据当前图像选择正确操作。

  • 第二阶段将这些能力扩展到复杂的连续操作任务。模型需要在每一步读取当前界面,判断任务进展,执行操作,并根据新的截图决定下一步动作。训练任务通过延长操作序列、增强步骤之间的依赖关系,提高模型对环境状态跟踪和长流程规划的要求。

此外,研究团队还构建了覆盖信息检索、软件工程、网络安全及生产力工具等领域的多样化可验证训练环境,涵盖多跳检索、代码开发、漏洞分析,以及 PPT、Excel、法律文档和三维工程设计等复杂任务。各方向围绕真实数据与专业任务需求,建立了从数据收集、任务合成、环境构建到结果验证的完整流程,并根据不同领域的特点设计相应的评测机制,将事实与证据核验、程序执行、环境状态检查和最终交付物验证纳入训练过程。

33 项基准评测

检验复杂任务执行能力

研究团队在智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域开展了 33 项基准评测。

四项第一 :在机器学习工程任务 MLE-bench Lite 中,Sage S2.1 Flash 取得 90.3 HumanRank,在主要对比模型中位列第一。在 OfficeQA Pro、Harvey LAB 和 SpreadsheetBench 2 中,模型分别取得 72.2、25.0 和 37.1,同样位列第一。

四个第二: PostTrainBench 和 PaperBench 分别取得 39.2 和 88.0,桌面操作评测 OSWorld-Verified 和网页交互评测 WebArena-Verified 分别取得 85.2 和 67.6,均位列主要对比模型第二。

面向真实科研软件

探索端到端科学任务执行

研究团队进一步展示了 Sage S2.1 Flash 在三维工程设计、科学数据分析和科研文献研究中的应用。

在工程建模任务中,模型根据图像和设计要求操作 Blender 与 CAD 软件,构建建筑、涡扇发动机和卡车底盘等三维模型,生成能够进一步编辑和检查的工程文件。

在科学软件分析任务中,模型使用 Fiji、EEGLAB 和 QGIS 等专业工具完成显微图像处理、脑电信号分析和遥感数据对比。

在科学深度研究案例中,模型围绕光学量子存储问题开展文献检索、实验参数提取、模拟计算与可视化,并生成可交互的研究应用。

今天,曾经皓首穷经的书生终于推开了书斋的大门,深入科学的现场,触碰世界的运行规律。通往通用科学智能体的道路才刚刚铺开,而每一次向真实世界的迈步,恰如人类文明初次仰望星空、丈量大地,正引领我们走向那个鲜活而辽阔的 “真实”。

现在,你也可以将自己的任务交给 Sage S2.1 Flash,探索它在不同场景中的表现。

体验链接:https://discovery.intern-ai.org.cn/token-plan/home

图片

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

跳转微信打开

本文转载自微信公众号「机器之心」,查看原文。版权归原作者所有,如有侵权请联系删除。