MME-Finance：来自同花顺的金融领域多模态模型专业评估基准

MME-Finance: A Multimodal Finance Benchmark for Expert-level Understanding and Reasoning

介绍：

https://hithink-research.github.io/MME-Finance/

代码：

https://github.com/HiThink-Research/MME-Finance

论文：

https://arxiv.org/abs/2411.03314

MME-Finance 是一个专为金融领域设计的多模态基准测试，由同花顺财经旗下的 HiThink 研究团队联合多家高校共同开发，旨在评估和提升多模态大型语言模型（MLLMs）在金融领域的专业理解和推理能力。

该基准测试具有双语特性，覆盖了金融图表、技术术语和专业知识，通过构建反映实际用户需求的图表和由金融行业专家提出的问答对，确保了测试的专业性和实用性。MME-Finance不仅包括了从基础视觉感知到复杂认知任务的多层次能力评估，还首次引入了视觉信息辅助的多模态评估过程，以提高评估的准确性。

该研究的特点是其对金融领域独特性的深入考量，包括金融术语的复杂性和图表类型的多样性。通过对19个主流MLLMs的广泛评估，研究揭示了现有模型在金融任务上的性能不足，尤其是在理解和分析K线图、技术指标图等金融专业图表方面。此外，MME-Finance的评估方法也显示出与人类评估者高度一致性，为金融领域MLLMs的性能评估提供了可靠的参考。

技术解读

MME-Finance 是一项针对金融领域多模态大型语言模型（MLLMs）的评估技术，其总体思路是通过构建一个包含丰富金融图表和专业知识的双语视觉问答（VQA）基准测试，来衡量和提升MLLMs在金融领域的专业理解和推理能力。该技术特别关注金融图表的独特性，如K线图和技术指标图，并结合实际应用场景中的视觉信息，以实现对MLLMs更全面和深入的评估。

MME-Finance 的构建和处理过程包括数据收集、问题生成、数据标注和评估方法设计：

• 在数据收集阶段，研究者从主流金融平台收集了多种类型的金融图像，包括电脑截图、手机摄影等，以模拟真实世界的应用场景。

• 问题生成阶段，通过专家设计的问题示例，利用MLLMs生成候选问题，并经过人工审核和修正。

• 数据标注阶段，由金融行业专家对问题和答案进行详细的验证和修正，确保了数据的质量和专业性。

• 在评估方法设计上，MME-Finance创新性地引入了视觉信息辅助的多模态评估过程，通过定制的评估系统，对MLLMs的感知、推理和认知能力进行综合评估。

其技术特点体现在其层次化的能力评估结构、实际应用导向的问题设计、专家级的标注质量以及与人类评估者高度一致的评估方法。MME-Finance 未金融领域的多模态大模型提供了一个标准化和专业化的评估平台，有助于揭示现有模型的不足，并指导未来的研究方向。随着金融科技的快速发展，对MLLMs在金融领域的应用需求日益增长，MME-Finance的前景广阔，它不仅能够推动金融多模态模型的技术进步，还可能对金融决策支持系统、自动化交易和风险管理等领域产生深远影响。

论文解读

这篇论文提出了一个名为MME-Finance的多模态金融基准测试，以下是内容要点：

摘要

• 提出了MME-Finance，一个双语的、开放式的、以实际使用为导向的视觉问答（VQA）基准测试，旨在促进大型金融多模态模型的发展。
• 基准测试具有金融和专业特性，包括构建反映用户实际使用需求的图表，创建根据金融领域查询偏好的问题，并由金融行业专家进行标注。
• 开展了对19个主流MLLMs的广泛实验评估，结果显示这些模型在金融任务上表现不佳，尤其是在K线图和技术指标图类别。

引言

• 介绍了多模态大型语言模型（MLLMs）的发展和它们在视觉理解方面的能力。
• 强调了合理和客观的基准测试对于MLLMs成功的重要性。

相关工作

• 2.1 MLLMS：讨论了LLMs的最新进展以及MLLMs如何利用这些进展。
• 2.2 多模态基准测试：介绍了多模态基准测试的发展，特别是在金融领域和中文多模态基准测试的缺乏。

MME-Finance

• 3.1 层次能力水平：将MLLMs的能力分为视觉理解、逻辑推理和复杂认知三个层次。
• 3.2 数据收集：描述了从主流平台收集金融图像的过程。
• 3.3 QA生成：介绍了如何生成高质量的QA对。
• 3.4 统计：提供了MME-Finance中不同能力和任务的样本数量统计。
• 3.5 评估方法：详细描述了MME-Finance的开放式QA格式和评估过程。

实验

• 4.1 实验设置：介绍了评估MLLMs的实验设置。
• 4.2 主要结果：展示了不同MLLMs在MME-Finance上的性能结果。
• 4.2.1 能力维度分析：分析了MLLMs在感知、推理和认知任务上的表现。
• 4.2.2 图像类型和风格维度分析：分析了MLLMs在不同图像类型和风格上的表现。
• 4.3 评估员分析：评估了不同评估员的有效性。

结论

• 总结了MME-Finance的贡献，并提出了未来的工作计划，包括扩展数据规模和整合多轮对话场景。

文章来自于微信公众号 “ADFeed”，作者“ADFeed”