上海交通大学发布的多模态基准测试MULTI,旨在评测多模态大模型在理解复杂的表格和图像、以及进行长文本推理的能力。该测试提供多模态输入,并要求回答是精确的或开放式的,反映了现实生活中的考试风格。MULTI包含逾 18,000 个问题,涵盖从公式推导到图像分析及跨模态推理的多样化任务。研究团队还创建了MULTI-Elite,一个精心挑选的包含500个问题的难题子集,以及MULTI-Extend,包含超过 4,500 个外部知识上下文的数据集。MULTI不仅作为一个稳健的评测平台,也为专家级AI的发展指明了方向。
详情请参见五号雷达:https://www.5radar.com/
数据集地址: https://huggingface.co/datasets/OpenDFM/MULTI-Benchmark
领取专属 10元无门槛券
私享最新 技术干货