MMBench 是什么
MMBench 是评估视觉语言模型能力的公开基准，由题目数据和评测方法组成。官方仓库说明它以多项选择题覆盖细分感知与推理能力，并通过轮换选项位置的循环评测检查回答是否稳定；对于自由文本答案，还可用语言模型提取选项。它适合研究者比较模型在特定视觉理解任务上的表现，查看结果时应同时确认数据版本、语言和评测协议，避免把不同设置下的分数直接排序。
适合谁，什么时候选
适合
适合视觉语言模型的研究评测。
不优先选择
把单个基准分数等同于全部多模态能力。
能力与限制
- 能力分类：以细分感知和推理维度组织多项选择题。
- 循环评测：轮换选项，多轮均正确才认定题目通过。
使用前留意
- 不同数据版本与单轮、循环协议不能直接混比。
怎样开始了解 MMBench
建议从下面的小任务开始；这是编辑建议，不是登录实测记录。
- 确认数据版本和目标语言。
- 使用官方推荐评测工具运行模型。
- 记录协议与设置，按同条件比较结果。
使用条件
仓库推荐 VLMEvalKit；模型推理及答案提取资源需自行准备。
来源与核验记录
已读取官方补充来源核对具体用途，未登录实测。
- 资料整理
- 2026-09-09 · 公开资料已核对
- 实际测试
- 未进行登录后的实际效果测评
选型与步骤属于编辑建议。公开资料核对不等于付费功能测试；价格、地区和账号权益以实际使用时为准。
