
全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升
全面超越Transformer!清华蚂蚁推出纯MLP架构,长短程时序预测大幅提升Transformer很强,Transformer很好,但Transformer在处理时序数据时存在一定的局限性。
来自主题: AI技术研报
8495 点击 2024-06-11 16:05
Transformer很强,Transformer很好,但Transformer在处理时序数据时存在一定的局限性。
本月初,来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。
多层感知器(MLP),也被称为全连接前馈神经网络,是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过,因为它们是机器学习中用于逼近非线性函数的默认方法。
大模型长文本能力测试,又有新方法了!