AI资讯新闻榜单内容搜索-注意力机制

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 注意力机制
北大DeepSeek论文或预定ACL Best Paper!梁文锋署名

北大DeepSeek论文或预定ACL Best Paper!梁文锋署名

北大DeepSeek论文或预定ACL Best Paper!梁文锋署名

北大DeepSeek联合发布的NSA论文,目前已被ACL 2025录用并获得了极高评分,甚至有望冲击最佳论文奖。该技术颠覆传统注意力机制,实现算力效率飞跃,被誉为长文本处理的革命性突破。

来自主题: AI资讯
8054 点击    2025-05-19 17:19
AI怎样模仿人类大脑的注意力机制?

AI怎样模仿人类大脑的注意力机制?

AI怎样模仿人类大脑的注意力机制?

最近,人们对AI谈得最多的是deepseek(简称DS)。这匹来自中国本土的黑马,闯入全球视野,一度扰乱美国股市,在 AI 领域掀起了一场轩然大波。

来自主题: AI技术研报
7946 点击    2025-05-17 18:15
刚刚,ICLR 2025时间检验奖颁给Adam之父!Bengio「注意力机制」摘亚军

刚刚,ICLR 2025时间检验奖颁给Adam之父!Bengio「注意力机制」摘亚军

刚刚,ICLR 2025时间检验奖颁给Adam之父!Bengio「注意力机制」摘亚军

ICLR 2025时间检验奖重磅揭晓!Yoshua Bengio与华人科学家Jimmy Ba分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器,另一个注意力机制,彻底重塑深度学习的未来。

来自主题: AI资讯
6879 点击    2025-04-15 17:06
浙大校友重磅革新Transformer!多token注意力让LLM开挂,错误率归0

浙大校友重磅革新Transformer!多token注意力让LLM开挂,错误率归0

浙大校友重磅革新Transformer!多token注意力让LLM开挂,错误率归0

简单的任务,传统的Transformer却错误率极高。Meta FAIR团队重磅推出多token注意力机制(MTA),精准捕捉复杂信息,带来模型性能飞升!

来自主题: AI技术研报
5739 点击    2025-04-04 14:14
新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

新注意力让大模型上下文内存占用砍半!精度不减还能加速2倍

大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。

来自主题: AI资讯
5847 点击    2025-03-17 19:52
CVPR 2025|北大开源多模态驱动的定制化漫画生成框架DiffSensei,还有4.3万页漫画数据集

CVPR 2025|北大开源多模态驱动的定制化漫画生成框架DiffSensei,还有4.3万页漫画数据集

CVPR 2025|北大开源多模态驱动的定制化漫画生成框架DiffSensei,还有4.3万页漫画数据集

北京大学、上海人工智能实验室、南洋理工大学联合推出 DiffSensei,首个结合多模态大语言模型(MLLM)与扩散模型的定制化漫画生成框架。该框架通过创新的掩码交叉注意力机制与文本兼容的角色适配器,实现了对多角色外观、表情、动作的精确控制

来自主题: AI技术研报
8209 点击    2025-03-07 14:15