AI资讯新闻榜单内容搜索-语言模型

关键词: 贾佳亚,ChatGPT,DALL-E 3,Mini-Gemini,视觉语言模型

在开源社区中把GPT-4+Dall·E 3能⼒整合起来的模型该有多强？

关键词: 贾佳亚,ChatGPT,DALL-E 3,Mini-Gemini,视觉语言模型

刷爆多模态任务榜单，超强视觉语言模型Mini-Gemini来了！ 效果堪称是开源社区版的GPT-4+DALL-E 3王炸组合。

关键词: Llama,GPT-2,token,大语言模型,模型训练

近日，朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3：知识的 Scaling Laws》用海量实验（50,000 条任务，总计 4,200,000 GPU 小时）总结了 12 条定律，为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。

关键词: LLM,LLMs,大语言模型,图的语言,GraphOA

图是组织信息的一种有用方式，但LLMs主要是在常规文本上训练的。谷歌团队找到一种将图转换为LLMs可以理解的格式的方法，显著提高LLMs在图形问题上超过60%的准确性。

关键词: 大语言模型,大模型,AI,LLM

早在 2020 年，陶大程团队就发布了《Knowledge Distillation: A Survey》，详细介绍了知识蒸馏在深度学习中的应用，主要用于模型压缩和加速。随着大语言模型的出现，知识蒸馏的作用范围不断扩大，逐渐扩展到了用于提升小模型的性能以及模型的自我提升。

关键词: AI模型,模型训练,微软AI,微小语言模型

微软找到了探索语言生成模型参数的新切入点！

关键词: 大语言模型,模型量化,模型压缩,模型训练

模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对于具有海量参数的大语言模型而言，模型量化显得更加重要。

关键词: LLM,大型语言模型,模型训练,AI研究

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。

关键词: SpatialVLM,语言模型,空间推理,模型训练

视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。

关键词: RLHF,模型训练,LLM,大语言模型

大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。