CMMLU 是什么
CMMLU 是评估语言模型中文知识与推理能力的基准数据集，覆盖67个主题，包含自然科学、人文社会科学及具有中国语境的知识问题。题目采用四选一形式，官方仓库提供开发集、测试集和评测接入说明。它适合研究者在一致设置下比较模型，但分数只能反映该基准所测范围，不能直接代表真实工作中的综合表现。
适合谁，什么时候选
适合
适合中文模型基准评测。
不优先选择
以单个分数替代业务任务评估。
能力与限制
- 中文基准：覆盖67个主题。
- 评测资料：提供四选一数据与评测代码说明。
使用前留意
- 中国语境题目不一定适用于其他地区。
怎样开始了解 CMMLU
建议从下面的小任务开始；这是编辑建议，不是登录实测记录。
- 阅读数据定义与评测设置。
- 统一提示方式运行候选模型。
- 结合具体任务解释结果。
使用条件
官方支持zero-shot及five-shot结果；数据许可与评测版本需保留记录。
来源与核验记录
已读作者仓库README及数据格式。
- 资料整理
- 2026-09-09 · 公开资料已核对
- 实际测试
- 未进行登录后的实际效果测评
选型与步骤属于编辑建议。公开资料核对不等于付费功能测试；价格、地区和账号权益以实际使用时为准。
