AI资讯新闻榜单内容搜索-自回归

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 自回归
无损加速最高5x,EAGLE-2让RTX 3060的生成速度超过A100

无损加速最高5x,EAGLE-2让RTX 3060的生成速度超过A100

无损加速最高5x,EAGLE-2让RTX 3060的生成速度超过A100

自回归解码已经成为了大语言模型(LLMs)的事实标准,大语言模型每次前向计算需要访问它全部的参数,但只能得到一个token,导致其生成昂贵且缓慢。

来自主题: AI技术研报
9379 点击    2024-07-17 20:33
字节豆包、武大提出 CAL:通过视觉相关的 token 增强多模态对齐效果

字节豆包、武大提出 CAL:通过视觉相关的 token 增强多模态对齐效果

字节豆包、武大提出 CAL:通过视觉相关的 token 增强多模态对齐效果

当前主流的视觉语言模型(VLM)主要基于大语言模型(LLM)进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间,然后使用自回归方式根据图像 token 预测答案。

来自主题: AI技术研报
8426 点击    2024-06-17 19:35
150B token从头训练,普林斯顿Meta发布完全可微MoE架构Lory

150B token从头训练,普林斯顿Meta发布完全可微MoE架构Lory

150B token从头训练,普林斯顿Meta发布完全可微MoE架构Lory

前几天,普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型,论文提出构建完全可微的MoE模型,是一种预训练自回归语言模型的新方法。

来自主题: AI技术研报
9566 点击    2024-05-20 16:10
抛弃自回归,连接一致性Diffusion和LLM!UCSD上交新作热度紧追AF 3

抛弃自回归,连接一致性Diffusion和LLM!UCSD上交新作热度紧追AF 3

抛弃自回归,连接一致性Diffusion和LLM!UCSD上交新作热度紧追AF 3

DeepMind新发布的AlphaFold 3是科技圈今天的绝对大热门,成为了Hacker News等许多科技媒体的头版头条。

来自主题: AI技术研报
3058 点击    2024-05-11 13:06
LeCun哈佛演讲PPT放出:唱衰自回归LLM,指明下一代AI方向

LeCun哈佛演讲PPT放出:唱衰自回归LLM,指明下一代AI方向

LeCun哈佛演讲PPT放出:唱衰自回归LLM,指明下一代AI方向

机器如何能像人类和动物一样高效地学习?机器如何学习世界运作方式并获得常识?机器如何学习推理和规划……

来自主题: AI技术研报
1895 点击    2024-05-05 19:45
Pika联创参与新研究:Diffusion能抢GPT的活了!成功挑战自回归文本范式

Pika联创参与新研究:Diffusion能抢GPT的活了!成功挑战自回归文本范式

Pika联创参与新研究:Diffusion能抢GPT的活了!成功挑战自回归文本范式

纵观生成式AI领域中的两个主导者:自回归和扩散模型。 一个专攻文本等离散数据,一个长于图像等连续数据。 如果,我们让后者来挑战前者的主场,它能行吗?

来自主题: AI技术研报
9432 点击    2024-04-17 17:02