突破分辨率极限，字节联合中科大提出多模态文档大模型
突破分辨率极限，字节联合中科大提出多模态文档大模型现在连文档都有大模型了，还是高分辨率、多模态的那种！不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。
来自主题: AI资讯
7758 点击 2023-12-04 13:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现在连文档都有大模型了，还是高分辨率、多模态的那种！不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。
在图像理解领域，多模态大模型已经充分展示了其卓越的性能。然而，对于工作中经常需要处理的图表理解与生成任务，现有的多模态模型仍有进步的空间。
硅谷AI初创新星Pika爆火，不仅让“女儿概念股”信雅达收获两个涨停，还将这股暖风吹到了A股AI应用板块。12月1日（周五）午后，昆仑万维、万兴科技先后涨停，汤姆猫、福昕软件、国脉文化等多只个股强势上涨。
从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。
目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，
网易垂类模型首度落地医疗临床领域，由网易传媒与北京协和医院强强合作、共同研发的国际首个多模态AI癫痫样放电检测系统vEpiSpy正式亮相第二十六届全国神经病学学术大会，并在北京协和医院、北京天坛医院、山东大学附属儿童医院等全国多家顶级三甲医院展开了临床试用。
训完130亿参数通用视觉语言大模型，只需3天！北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。
研究人员利用GPT4-Vision构建了一个大规模高质量图文数据集ShareGPT4V，并在此基础上训练了一个7B模型，在多项多模态榜单上超越了其他同级模型。
性能优于规模更大的模型。多模态学习面临的主要挑战之一是需要融合文本、音频、视频等异构的模态，多模态模型需要组合不同来源的信号。然而，这些模态具有不同的特征，很难通过单一模型来组合。
由南洋理工华人团队新提出的80亿参数多模态大模型OtterHD，不仅可以搞定让GPT-4V都发愁的难题，甚至还可以数出来《清明上河图》（局部）里到底有多少只骆驼！