AI资讯新闻榜单内容搜索-Transforme

关键词: 神经网络,AI,LeCun,大模型,人工智能

神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。

关键词: CV,AI,patch,AI,视觉模型

下一代视觉模型会摒弃patch吗？Meta AI最近发表的一篇论文就质疑了视觉模型中局部关系的必要性。他们提出了PiT架构，让Transformer直接学习单个像素而不是16×16的patch，结果在多个下游任务中取得了全面超越ViT模型的性能。

关键词: AI,AI架构,TTT,Transformer

超越Transformer和Mamba的新架构，刚刚诞生了。斯坦福UCSD等机构研究者提出的TTT方法，直接替代了注意力机制，语言模型方法从此或将彻底改变。

关键词: RNN,Transformer,大模型,AI,TTT

新架构，再次向Transformer发起挑战！

关键词: Transformer,AI框架,AI,注意力机制,大模型,模型训练

只要将注意力切块，就能让大模型解码提速20倍。

关键词: Transformer,AI,AI蛋白质,AI生物,AI科研

糖类是自然界中最丰富的有机物质，对生命至关重要。了解糖类如何在生理和病理过程中调节蛋白质，可以为解决关键的生物学问题和开发新的治疗方法提供机遇。

关键词: 模型训练,chatGPT,AI,Transformer

文章第一作者为来自北京大学物理学院、即将加入人工智能研究院读博的胡逸。胡逸的导师为北京大学人工智能研究院助理教授、北京通用人工智能研究院研究员张牧涵，主要研究方向为图机器学习和大模型的推理和微调。

关键词: AI,AI芯片,AI硬件,etched,Sohu,ASIC芯片

AI芯片的创新从未停止。

关键词: AI框架,Transformer,模型训练,AI

上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力，但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。

关键词: AI芯片,Sohu,GPU,H100

史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。