
LSTM之父:我也是注意力之父!1991年就发表线性复杂度,遥遥领先Transformer 26年
LSTM之父:我也是注意力之父!1991年就发表线性复杂度,遥遥领先Transformer 26年Transformer模型自2017年问世以来,已成为AI领域的核心技术,尤其在自然语言处理中占据主导地位。然而,关于其核心机制“注意力”的起源,学界存在争议,一些学者如Jürgen Schmidhuber主张自己更早提出了相关概念。
来自主题: AI技术研报
6122 点击 2024-12-13 14:24