全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。
来自主题: AI技术研报
4632 点击 2024-03-07 14:01
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。
虽然 AI 生图领域，看似百花齐放，但论资排辈，Midjourney、Stability AI 还是很受用户欢迎的。就算是竞争对手，Midjourney 也不至于禁止 Stability AI 员工使用其软件吧。
根据ReportLinker的预测，全球企业搜索市场预计到2028年将达到69亿美元，且随着远程办公趋势的增长，企业对高效搜索和知识管理的需求日益增加。
最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。
最近谷歌DeepMind的CEO Hassabis接受了多个播客主播的专访，向大众透露很多谷歌最近发布模型的内幕，以及他理解的如何通向AGI的道路。
只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？
在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
现在，大语言模型（LLM）迎来了“1-bit时代”。