AI资讯新闻榜单内容搜索-transforme

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: transforme
无Tokenizer时代真要来了?Mamba作者再发颠覆性论文,挑战Transformer

无Tokenizer时代真要来了?Mamba作者再发颠覆性论文,挑战Transformer

无Tokenizer时代真要来了?Mamba作者再发颠覆性论文,挑战Transformer

最近,Mamba 作者之一 Albert Gu 又发新研究,他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net,其用模型内部的动态分块过程取代 tokenization,从而自动发现和操作有意义的数据单元。

来自主题: AI技术研报
6093 点击    2025-07-13 11:37
前 OpenAI 研究员 Kevin Lu:别折腾 RL 了,互联网才是让大模型进步的关键

前 OpenAI 研究员 Kevin Lu:别折腾 RL 了,互联网才是让大模型进步的关键

前 OpenAI 研究员 Kevin Lu:别折腾 RL 了,互联网才是让大模型进步的关键

「停止研究 RL 吧,研究者更应该将精力投入到产品开发中,真正推动人工智能大规模发展的关键技术是互联网,而不是像 Transformer 这样的模型架构。」

来自主题: AI资讯
6538 点击    2025-07-13 11:23
Mamba一作预告新架构!长文论述Transformer≠最终解法

Mamba一作预告新架构!长文论述Transformer≠最终解法

Mamba一作预告新架构!长文论述Transformer≠最终解法

Mamba一作最新大发长文! 主题只有一个,即探讨两种主流序列模型——状态空间模型(SSMs)和Transformer模型的权衡之术。

来自主题: AI技术研报
5815 点击    2025-07-10 10:56
Meta新注意力机制突破Transformer上限,还用上了OpenAI的开源技术

Meta新注意力机制突破Transformer上限,还用上了OpenAI的开源技术

Meta新注意力机制突破Transformer上限,还用上了OpenAI的开源技术

Meta挖走OpenAI大批员工后,又用OpenAI的技术搞出新突破。新架构名为2-Simplicial Transformer,重点是通过修改标准注意力,让Transformer能更高效地利用训练数据,以突破当前大模型发展的数据瓶颈。

来自主题: AI技术研报
5924 点击    2025-07-08 12:01
原来Scaling Law还能被优化?Meta这招省token又提效

原来Scaling Law还能被优化?Meta这招省token又提效

原来Scaling Law还能被优化?Meta这招省token又提效

2017 年,一篇《Attention Is All You Need》论文成为 AI 发展的一个重要分水岭,其中提出的 Transformer 依然是现今主流语言模型的基础范式。尤其是在基于 Transformer 的语言模型的 Scaling Law 得到实验验证后,AI 领域的发展更是进入了快车道。

来自主题: AI技术研报
5945 点击    2025-07-06 14:56
AI Agent、传统聊天机器人有何区别?如何评测?这篇30页综述讲明白了

AI Agent、传统聊天机器人有何区别?如何评测?这篇30页综述讲明白了

AI Agent、传统聊天机器人有何区别?如何评测?这篇30页综述讲明白了

自从 Transformer 问世,NLP 领域发生了颠覆性变化。大语言模型极大提升了文本理解与生成能力,成为现代 AI 系统的基础。而今,AI 正不断向前,具备自主决策和复杂交互能力的新一代 AI Agent 也正加速崛起。

来自主题: AI技术研报
4759 点击    2025-07-03 10:31
画到哪,动到哪!字节跳动发布视频生成「神笔马良」ATI,已开源!

画到哪,动到哪!字节跳动发布视频生成「神笔马良」ATI,已开源!

画到哪,动到哪!字节跳动发布视频生成「神笔马良」ATI,已开源!

近年来,随着扩散模型(Diffusion Models)、Transformer 架构与高性能视觉理解模型的蓬勃发展,视频生成任务取得了令人瞩目的进展。从静态图像生成视频的任务(Image-to-Video generation)尤其受到关注,其关键优势在于:能够以最小的信息输入生成具有丰富时间连续性与空间一致性的动态内容。

来自主题: AI技术研报
6438 点击    2025-07-03 10:07