AI资讯新闻榜单内容搜索-多模态

关键词: CLIP,长文本能力,多模态,模型训练

CLIP长文本能力被解锁，图像检索任务表现显著提升！一些关键细节也能被捕捉到。上海交大联合上海AI实验室提出新框架Long-CLIP。

关键词: 多模态,大模型,AI模盒,深目,AI硬件

【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！

关键词: TaskMatrix.AI,模型训练,多模态

近年来，人工智能发展迅速，尤其是像ChatGPT这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。

关键词: VLOGGER,AI视频,扩散模型,多模态扩散模型

【新智元导读】近日，来自谷歌的研究人员发布了多模态扩散模型VLOGGER，只需一张照片，和一段音频，就能直接生成人物说话的视频！

关键词: 奇智孔明,工业大模型,多模态工业大模型,AI工业,工业AI

今年升级的重点在于引入了多模态大模型能力。

关键词: CPU,AI推理,GPU,Hugging Face,推理大模型,多模态大模型

大模型的训练阶段我们选择GPU，但到了推理阶段，我们果断把CPU加到了菜单上。

关键词: AIGC,多模态大模型,大模型,AI研究,AI研报

2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。

关键词: 多模态,大模型,RAG,RAG应用,知识检索器,模型训练

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。

关键词: 多模态,大模型,TextMonkey,多模态大模型

最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。

关键词: 阶跃星辰,Step,通用大模型,多模态,Moe

3 月 23 日，国内通用大模型创业公司阶跃星辰在 2024 全球开发者先锋大会上发布了公司的通用大模型产品。阶跃星辰创始人、CEO 姜大昕博士在大会开幕式上对外发布了 Step 系列通用大模型，包括 Step-1 千亿参数语言大模型、Step-1V 千亿参数多模态大模型以及 Step-2 万亿参数 MoE 语言大模型预览版。