FlagEval 是什么
FlagEval天秤是智源研究院的大模型评测平台，围绕自然语言、视觉和多模态等领域组织数据集、评测规则及结果展示。它适合研究人员了解模型在特定任务上的表现，也提供提交模型参与评测的流程。官方手册区分公开浏览和实际提交权限，并说明注册申请与审核要求；排行榜中的分数只对应指定数据与方法，不能直接视为模型在所有业务中的综合可靠性。
适合谁，什么时候选
适合
适合阅读模型评测规则、结果并申请规范评测。
不优先选择
不适合仅凭总排名决定高风险业务选型。
能力与限制
- 多领域评测：覆盖语言、视觉及多模态任务。
- 规则与数据：提供任务、数据集和评测方法文档。
- 提交流程：手册说明申请、审核及模型代码上传流程。
使用前留意
- 榜单表现依赖数据集和评测设置。
- 公开浏览不代表已拥有提交评测权限。
怎样开始了解 FlagEval
建议从下面的小任务开始；这是编辑建议，不是登录实测记录。
- 先选择与业务相关的评测任务。
- 阅读数据集、指标和运行规则。
- 需要提交时按官方流程申请权限。
使用条件
官方快速开始要求注册、补全资料并经审核后使用评测；具体在线评测范围依当前说明。
来源与核验记录
已读官方快速开始和多模态评测任务说明。
- 内容依据
- FlagEval快速开始 · 查看来源 · 官方资料
- 资料整理
- 2026-09-09 · 公开资料已核对
- 实际测试
- 未进行登录后的实际效果测评
选型与步骤属于编辑建议。公开资料核对不等于付费功能测试；价格、地区和账号权益以实际使用时为准。
