AI技术研报-这里有最前沿的人工智能技术解读

关键词: YOLOv9,实施检测,可编程梯度信息,PGI

距离YOLOv8发布仅1年的时间，v9诞生了！

关键词: YOLOv9,深度学习,大模型训练,AI算法

继 2023 年 1 月 YOLOv8 正式发布一年多以后，YOLOv9 终于来了！

关键词: 蒋路,Sora,AI视频模型,Transformer

谷歌Research Lead，负责VideoPoet项目的蒋路，即将加入TikTok，负责视频生成AI的开发。

关键词: LLM,大型语言模型,模型训练,AI研究

在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。

关键词: 多尺度深度生成模型,AI生物,AI科研,AI蛋白质

由蛋白质和小分子配体形成的结合复合物无处不在，对生命至关重要。虽然最近科学家在蛋白质结构预测方面取得了进展，但现有算法无法系统地预测结合配体结构及其对蛋白质折叠的调节作用。

关键词: 扩散模型,AI视频,AI图片,模型训练

为了使机器具有人类的想象力，深度生成模型取得了重大进展。这些模型能创造逼真的样本，尤其是扩散模型，在多个领域表现出色。扩散模型解决了其他模型的限制，如 VAEs 的后验分布对齐问题、GANs 的不稳定性、EBMs 的计算量大和 NFs 的网络约束问题。

关键词: Gemma,Gemini,谷歌大模型,Keras 3.0

谷歌大模型，开源了！一夜之间，Gemma系列正式上线，全面对外开放。

关键词: GPU,模型稀疏化,模型训练,SliceGPT

大语言模型之大，成本之高，让模型的稀疏化变得至关重要。

关键词: Groq芯片,英伟达,AI芯片,AI硬件

财报发布前两天，英伟达突然冒出来一个劲敌。一家名叫Groq的公司今天在AI圈内刷屏，杀招就一个：快。

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。

关键词: openai,AGI,chatGPT,sora

简单说一下我的见解，以公司和技术趋势而不是个人的角度做一些分析，并预测一些OpenAI下一步的进展。

关键词: Gemini 1.5,token, transformers,GPT-4V

我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。

关键词: RNN模型,Transformer,Mistral-7B,Eagle 7B

大模型内卷时代，也不断有人跳出来挑战Transformer的统治地位，RWKV最新发布的Eagle 7B模型登顶了多语言基准测试，同时成本降低了数十倍

关键词: V-JEPA,Sora,世界模型,AI视频

短短几天，「世界模型」雏形相继诞生，AGI真的离我们不远了？Sora之后，LeCun首发AI视频预测架构V-JEPA，能够以人类的理解方式看世界。

关键词: SpatialVLM,语言模型,空间推理,模型训练

视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。

关键词: DPO,IPO,KTO,模型训练,模型算法

尽管收集人类对模型生成内容的相对质量的标签，并通过强化学习从人类反馈（RLHF）来微调无监督大语言模型，使其符合这些偏好的方法极大地推动了对话式人工智能的发展。

关键词: Gemini 1.5,多模态,GPT-5,MoE

刚刚，我们经历了LLM划时代的一夜。谷歌又在深夜发炸弹，Gemini Ultra发布还没几天，Gemini 1.5就来了。卯足劲和OpenAI微软一较高下的谷歌，开始进入了高产模式。

关键词: GPT-4,AI学术,AI教育,AI助手

如果允许学生用AI“作弊”，他们的成绩分布会发生怎样的变化？

关键词: GPT-4V,Agent,UI Agent,UFO

微软首个为Windows而设的智能体（Agent） 亮相：基于GPT-4V，一句话就可以在多个应用中无缝切换，完成复杂任务。整个过程无需人为干预，其执行成功率和效率是GPT-4的两倍，GPT-3.5的四倍。

关键词: 微调,模型训练,RAG

检索增强生成（RAG）和微调（Fine-tuning）是提升大语言模型性能的两种常用方法，那么到底哪种方法更好？在建设特定领域的应用时哪种更高效？微软的这篇论文供你选择时进行参考。

关键词: Transformer,深度学习,LLM,RNN

状态空间模型正在兴起，注意力是否已到尽头？

关键词: 大模型,神经网络,AI硬件

为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。

关键词: 文生图,Pika,MLLM,多模态模型,扩散模型

近日，北大、斯坦福、以及Pika Labs发布了新的开源文生图框架，利用多模态LLM的能力成功解决文生图两大难题，表现超越SDXL和DALL·E 3

关键词: 流程工程,LLM,提示工程,提示词

Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。

关键词: SpeechGPT,自回归语音建模,模型训练,智能涌现,深度学习,自然语言处理

伴随着生成式深度学习模型的飞速发展，自然语言处理（NLP）和计算机视觉（CV）已经经历了根本性的转变，从有监督训练的专门模型，转变为只需有限的明确指令就能完成各种任务的通用模型

关键词: 深度强化学习,模型训练,数据低效

分布式强化学习是一个综合的研究子领域，需要深度强化学习算法以及分布式系统设计的互相感知和协同。考虑到 DDRL 的巨大进步，我们梳理形成了 DDRL 技术的展历程、挑战和机遇的系列文章。

关键词: LLM,世界模型,ChatGPT,AI,渗透式人工智能

最近来自香港科技大学（HKUST）、南洋理工大学（NTU）与加利福尼亚大学洛杉矶分校（UCLA）的研究者们提供了新的思路：他们发现大语言模型如 ChatGPT 可以理解传感器信号进而完成物理世界中的任务。该项目初步成果发表于 ACM HotMobile 2024。

关键词: CodeAct,智能体,LLM,GPT-4,模型训练

最近，UIUC苹果华人提出了一个通用智能体框架CodeAct，通过Python代码统一LLM智能体的行动。

关键词: Web Agent,CMU,多模态大模型,大模型

大模型的新考验来了！近日，来自卡内基梅隆大学的研究人员发布了评估LLM多模态Web代理性能的基准测试。

关键词: AI教育,AI论文

抱着年终总结，也是对过去一年回顾与展望的态度，来自 Ahead AI 的 Sebastian Raschka 博士为我们带来了 2023 年最值得大家关注，也是最有影响力的十篇 AI 论文，这里我们就和大家一起，用这十篇工作再次为 2023 年写下一段注脚