ICLR 2024 Oral|用巧妙的「传送」技巧,让神经网络的训练更加高效
ICLR 2024 Oral|用巧妙的「传送」技巧,让神经网络的训练更加高效众多神经网络模型中都会有一个有趣的现象:不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释,即某些参数的变换不会影响损失函数的结果。基于这一发现,传送算法(teleportation)被设计出来,它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力,但其背后的确切机制尚不清楚。
众多神经网络模型中都会有一个有趣的现象:不同的参数值可以得到相同的损失值。这种现象可以通过参数空间对称性来解释,即某些参数的变换不会影响损失函数的结果。基于这一发现,传送算法(teleportation)被设计出来,它利用这些对称变换来加速寻找最优参数的过程。尽管传送算法在实践中表现出了加速优化的潜力,但其背后的确切机制尚不清楚。
由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办的 ICLR 会议,在走过第一个十年后,终于迎来了首届时间检验奖。
20 世纪 90 年代,长短时记忆(LSTM)方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来,LSTM 经受住了时间的考验,并为众多深度学习的成功案例做出了贡献。然而,以可并行自注意力为核心 Transformer 横空出世之后,LSTM 自身所存在的局限性使其风光不再。
进入 2024 年,AGI 领域的投融资热度明显下降。 当模型层的技术边界仍未清晰界定,全球 AI 相关的流量红利开始逐渐消解,而一些 PMF 发生在了大厂,大厂追赶创业公司的时间周期缩短到数周时,对于创业者而言,快速构建自己的业务壁垒就更为关键。这同样也是 AGI 领域投资人不得不思考的难题。
Gartner估计,到2028年,75%的程序员将使用AI编程工具。
因AI概念去年股价一飞冲天的“彩票大王”鸿博股份(002229.SZ),交出了一份令人失望的成绩单。
智东西5月8日报道,近日,微软发布了首个年度《负责任的人工智能透明度报告》。报告概述了微软2023年制定并部署的各种措施,以及其在安全部署AI产品方面取得的成就,如创建了30个负责任的人工智能(RAI)工具,扩大了RAI团队等。
斯坦福AI小镇曾火遍了全网,25个智能体生活交友,堪称现实版的「西部世界」。
把AlphaGo的核心算法用在大模型上,“高考”成绩直接提升了20多分。
前“妙鸭相机”负责人张月光的新创业项目“沐言智语”收获3轮融资,估值已达约1.2亿美元。离职仅半年,前“妙鸭相机”负责人张月光,就凭借新创业项目“沐言智语”收获多轮融资。