AI资讯新闻榜单内容搜索-Transforme

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: Transforme
RNN模型挑战Transformer霸权!1%成本性能比肩Mistral-7B,支持100+种语言全球最多

RNN模型挑战Transformer霸权!1%成本性能比肩Mistral-7B,支持100+种语言全球最多

RNN模型挑战Transformer霸权!1%成本性能比肩Mistral-7B,支持100+种语言全球最多

大模型内卷时代,也不断有人跳出来挑战Transformer的统治地位,RWKV最新发布的Eagle 7B模型登顶了多语言基准测试,同时成本降低了数十倍

来自主题: AI技术研报
5160 点击    2024-02-20 11:12
我们还需要Transformer中的注意力吗?

我们还需要Transformer中的注意力吗?

我们还需要Transformer中的注意力吗?

状态空间模型正在兴起,注意力是否已到尽头?

来自主题: AI技术研报
8991 点击    2024-02-17 12:03
RECURRENTGPT: 交互式生成(任意的)长文本

RECURRENTGPT: 交互式生成(任意的)长文本

RECURRENTGPT: 交互式生成(任意的)长文本

Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中,我们介绍了RECURRENTGPT,一个基于语言的模拟RNN中的递归机制。

来自主题: AI技术研报
4238 点击    2024-02-06 12:51
陶哲轩看了都直呼内行!谷歌等用LLM自动证明定理拿顶会杰出论文,上下文越全证得越好

陶哲轩看了都直呼内行!谷歌等用LLM自动证明定理拿顶会杰出论文,上下文越全证得越好

陶哲轩看了都直呼内行!谷歌等用LLM自动证明定理拿顶会杰出论文,上下文越全证得越好

在软件工程顶会ESEC/FSE上,来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校(UIUC)的研究人员发表了新的成果,使用LLM解决自动化定理证明问题。

来自主题: AI技术研报
3916 点击    2024-02-03 14:55
登Nature子刊,滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

登Nature子刊,滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

登Nature子刊,滑铁卢大学团队评论「量子计算机+大语言模型」当下与未来

加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章,强调了语言模型在构建量子计算机方面所做出的贡献,并讨论了它们在量子优势竞争中的未来角色。

来自主题: AI技术研报
5068 点击    2024-02-03 13:04
大模型元年,人类文明的操作系统正在大更新

大模型元年,人类文明的操作系统正在大更新

大模型元年,人类文明的操作系统正在大更新

本文介绍了AI大模型元年的到来以及人类文明操作系统的大更新。通过分析Transformer架构的出现和大模型在各个领域的应用,展示了AI对人机交互的改变和智能手机作为新的操作系统的前景。

来自主题: AI资讯
1898 点击    2024-02-01 22:53
药物-靶标亲和力预测,上科大团队开发了一种Transformer编码器和指纹图谱相结合的方法

药物-靶标亲和力预测,上科大团队开发了一种Transformer编码器和指纹图谱相结合的方法

药物-靶标亲和力预测,上科大团队开发了一种Transformer编码器和指纹图谱相结合的方法

药物与靶标之间的结合亲和力的预测对于药物发现至关重要。然而,现有方法的准确性仍需提高。另一方面,大多数深度学习方法只关注非共价(非键合)结合分子系统的预测,而忽略了在药物开发领域越来越受到关注的共价结合的情况。

来自主题: AI资讯
7859 点击    2024-01-27 13:27
推翻Transformer奠基之作疑被拒收,ICLR评审遭质疑!网友大呼黑幕,LeCun自曝类似经历

推翻Transformer奠基之作疑被拒收,ICLR评审遭质疑!网友大呼黑幕,LeCun自曝类似经历

推翻Transformer奠基之作疑被拒收,ICLR评审遭质疑!网友大呼黑幕,LeCun自曝类似经历

去年年底因颠覆Transformer一战成名的Mamba架构论文,竟然在ICLR 2024同行评审中被打出3分的低分,因而可能被拒收?这桩疑案今早一被曝出,立刻引发轩然大波,连LeCun都跳出来喊冤。

来自主题: AI资讯
6994 点击    2024-01-26 13:32