MMMU

MMMU

多学科多模态理解推理评测基准

AI官网

应用介绍

多模态大模型号称能看懂图表公式,但到底有多接近专家水平,缺一把统一的尺子。MMMU 是一个覆盖艺术、商科、理工、医学等学科的大规模多模态理解与推理基准,题目来自大学考试和教材。

仓库提供评测代码,可以直接测出模型在各学科上的得分,还有更难的 MMMU-Pro 版本。

软件功能



多学科:六大领域三十个科目。

图文题目:图表、公式、照片。

评测代码:一键出分。

排行榜:对比主流模型。

应用截图