清华研究登Nature，首创全前向智能光计算训练架构，戴琼海、方璐领衔
清华研究登Nature，首创全前向智能光计算训练架构，戴琼海、方璐领衔在刚刚过去的一天，来自清华的光电智能技术交叉创新团队突破智能光计算训练难题，相关论文登上 Nature。
来自主题: AI资讯
8657 点击 2024-08-08 18:59
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在刚刚过去的一天，来自清华的光电智能技术交叉创新团队突破智能光计算训练难题，相关论文登上 Nature。
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。
该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 MIPL实验室，第一作者为博士生徐铸，通讯作者为博士生导师刘洋。MIPL 实验室近年来在 IJCV、CVPR、AAAI、ICCV、ICML、ECCV 等顶会上有多项代表性成果发表，多次荣获国内外 CV 领域重量级竞赛的冠军奖项，和国内外知名高校、科研机构广泛开展合作。
一个人，待在家里，“懒散”的有一搭没一搭，训练一个要挑战已经“一统世界”的Transformer 的模型。这听起来足够夸张。
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。
Transformer架构层层堆叠，包含十几亿甚至几十亿个参数，这些层到底是如何工作的？当一个新奇的比喻——「画家流水线」，被用于类比并理解Transformer架构的中间层，情况突然变得明朗起来，并引出了一些有趣的发现。
打造终身学习智能体，是研究界以来一直追求的目标。最近，帝国理工联手谷歌DeepMind打造了创新联合框架扩散增强智能体（DAAG），利用LLM+VLM+DM三大模型，让AI完成迁移学习、高效探索。
在长文本理解能力这块，竟然没有一个大模型及格！
七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。