Bengio等人新作：注意力可被视为RNN，新模型媲美Transformer，但超级省内存
Bengio等人新作：注意力可被视为RNN，新模型媲美Transformer，但超级省内存既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？
来自主题: AI技术研报
6944 点击 2024-05-25 18:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？
这几天，AI届的盛会——ICLR在维也纳举办。
在机器学习社区中，ICLR （国际学习表征会议）是较为「年轻」的学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可，并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。
由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议，在走过第一个十年后，终于迎来了首届时间检验奖。
刚刚，《时代》周刊发布了 2024 年度最具影响力的 100 人名单。 在这份名单中，我们看到了很多熟悉的学者和企业家。
奥本海默曾引用《薄伽梵歌》：「现在我变成了死亡」。深度学习之父Hinton，也同样痛悔毕生工作。最近，Hinton、Bengio、Stuart Russell、张宏江、黄铁军、王仲远、姚期智、张亚勤等大佬齐聚中国版「布莱切利」峰会上，签署了《北京AI安全国际共识》。
为了应对 AI 发展带来的挑战，国内外研究者展开合作以避免其可能带来的灾难的发生。
「AI灭绝人类」的全球讨论继续升级，Sam Altman在剑桥活动现场被抗议者当面抵制！而LeCun、吴恩达的「开源派」和Bengio、马库斯的 「毁灭派」，也纷纷甩出言辞恳切的联名信，继续征集签名中。
管理人工智能风险，再引AI界大佬联手全力呼吁。