AI资讯新闻榜单内容搜索-上下文

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 上下文
MoE与Mamba强强联合,将状态空间模型扩展到数百亿参数

MoE与Mamba强强联合,将状态空间模型扩展到数百亿参数

MoE与Mamba强强联合,将状态空间模型扩展到数百亿参数

状态空间模型(SSM)是近来一种备受关注的 Transformer 替代技术,其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色,成为了基于注意力的 Transformer 架构的一大有力替代架构。

来自主题: AI技术研报
10263 点击    2024-01-23 15:09
零代码定制游戏NPC,百川智能发布角色大模型

零代码定制游戏NPC,百川智能发布角色大模型

零代码定制游戏NPC,百川智能发布角色大模型

1月9日,百川智能正式发布角色大模型Baichuan-NPC。Baichuan-NPC优化了“角色知识”和“对话能力”,使模型能够更好的理解上下文对话语义,更加符合人物性格地进行对话和行动,让角色更加真实生动。

来自主题: AI资讯
9394 点击    2024-01-13 10:56
四行代码让大模型上下文暴增3倍,羊驼Mistral都适用

四行代码让大模型上下文暴增3倍,羊驼Mistral都适用

四行代码让大模型上下文暴增3倍,羊驼Mistral都适用

无需微调,只要四行代码就能让大模型窗口长度暴增,最高可增加3倍!而且是“即插即用”,理论上可以适配任意大模型,目前已在Mistral和Llama2上试验成功。

来自主题: AI资讯
7792 点击    2024-01-08 14:33
5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

就在昨天,百川智能正式发布Baichuan2-Turbo系列API,192K的超长上下文窗口+搜索增强知识库,解决了困扰行业已久的大模型商用落地难问题。

来自主题: AI资讯
4207 点击    2023-12-21 15:33
一句话解锁100k+上下文大模型真实力,27分涨到98,GPT-4、Claude2.1适用

一句话解锁100k+上下文大模型真实力,27分涨到98,GPT-4、Claude2.1适用

一句话解锁100k+上下文大模型真实力,27分涨到98,GPT-4、Claude2.1适用

各家大模型纷纷卷起上下文窗口,Llama-1时标配还是2k,现在不超过100k的已经不好意思出门了。然鹅一项极限测试却发现,大部分人用法都不对,没发挥出AI应有的实力。

来自主题: AI资讯
3607 点击    2023-12-11 16:17
中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

中国团队再获EMNLP最佳长论文!北大微信AI联合揭秘大模型上下文学习机制

EMNLP顶会落下帷幕,各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中,由北大孙栩老师和微信周杰、孟凡东合作指导。

来自主题: AI资讯
9339 点击    2023-12-11 16:03