搜索
Adam优化器是深度学习中常用的优化算法，但其性能背后的理论解释一直不完善。近日，来自清华大学的团队提出了RAD优化器，扩展了Adam的理论基础，提升了训练稳定性。实验显示RAD在多种强化学习任务中表现优于Adam。
ICLR 2025时间检验奖重磅揭晓！Yoshua Bengio与华人科学家Jimmy Ba分别领衔的两篇十年前论文摘得冠军与亚军。一个是Adam优化器，另一个注意力机制，彻底重塑深度学习的未来。
算力需求比AdamW直降48%，OpenAI技术人员提出的训练优化算法Muon，被月之暗面团队又推进了一步！
在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。
过去十年间，基于随机梯度下降（SGD）的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中，Adam 及其变种最受追捧。无论是 SGD，还是 Adam，亦或是其他优化器，最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。
近日，美国一家 web3 开发公司的创始工程师之一 Adam Majmudar 分享了他「手搓 GPU」成功的经历，引发了网友们的一大片点赞。令人惊讶的是，他仅用两周时间就完成了这一脑力壮举。在 Twitter/X 的主题帖子中，Majmudar 进行了直播，一步步带我们回顾了整个过程。
作为 Meta 的前 CTO，Quora CEO Adam D'Angelo 目前还是 OpenAI 的董事会成员，在 Quora 之外推出的 Poe，成为当下接入大模型最多的 Chatbot 平台：GPT-4、Claude3、Mistral 等模型都有，用户也可以在上面搭建自己的 Chatbot 机器人，如果有别的用户使用，还可以产生收益。
Quora联合创始人兼首席执行官Adam D'Angelo发文宣布，已从硅谷风投巨擘Andreessen Horowitz 处筹集7500万美元。这笔资金将用于加速公司AI 聊天平台Poe的发展，其中大部分会投入支持AI开发者的创作货币化。
OpenAI董事会的Adam D'Angelo被曝曾邀请竞争对手加入董事会，Altman的地位又危险了，而另一方面，谷歌似乎被OpenAI压得喘不过气