405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+
405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+近日，来自斯坦福、MIT等机构的研究人员推出了低秩线性转换方法，让传统注意力无缝转移到线性注意力，仅需0.2%的参数更新即可恢复精度，405B大模型两天搞定！
来自主题: AI技术研报
5136 点击 2024-11-21 13:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT