AI资讯新闻榜单内容搜索-token

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: token
多轮对话推理速度提升46%,开源方案打破LLM多轮对话的长度限制​

多轮对话推理速度提升46%,开源方案打破LLM多轮对话的长度限制​

多轮对话推理速度提升46%,开源方案打破LLM多轮对话的长度限制​

在大型语言模型(LLM)的世界中,处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM,能够在不牺牲推理速度和生成效果的前提下,可实现多轮对话总共 400 万个 token 的流式输入,22.2 倍的推理速度提升。

来自主题: AI技术研报
6188 点击    2024-01-08 14:02
若愚科技推出九天机器人大脑,大模型总参数规模达130亿

若愚科技推出九天机器人大脑,大模型总参数规模达130亿

若愚科技推出九天机器人大脑,大模型总参数规模达130亿

若愚科技与哈工深联合研发了语言大模型基座---立知和多模态大模型基座---九天,总参数规模达130亿,训练数据超1500B tokens, 能完成多任务、多轮对话、中英翻译、思维链、工具使用等多种类型的指令数据

来自主题: AI资讯
2270 点击    2023-12-26 08:47
5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

5000万tokens大海捞针创纪录,百川智能192K超长上文+搜索增强破解商用难题!解决99%企业定制需求

就在昨天,百川智能正式发布Baichuan2-Turbo系列API,192K的超长上下文窗口+搜索增强知识库,解决了困扰行业已久的大模型商用落地难问题。

来自主题: AI资讯
4204 点击    2023-12-21 15:33
大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

大模型推理效率无损提升3倍,滑铁卢大学、北京大学等机构发布EAGLE

大语言模型(LLM)被越来越多应用于各种领域。然而,它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则:每个词(token)的生成都需要进行一次前向传播,需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。

来自主题: AI资讯
5592 点击    2023-12-15 11:37
用上这个工具包,大模型推理性能加速达40倍

用上这个工具包,大模型推理性能加速达40倍

用上这个工具包,大模型推理性能加速达40倍

只需不到9行代码,就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延,且首个token和下一个token的推理速度分别提升多达40倍和2.68倍,还能满足更多场景应用需求。

来自主题: AI技术研报
3757 点击    2023-11-30 19:10
中文最强开源大模型来了!130亿参数,0门槛商用,来自昆仑万维

中文最强开源大模型来了!130亿参数,0门槛商用,来自昆仑万维

中文最强开源大模型来了!130亿参数,0门槛商用,来自昆仑万维

开源最彻底的大模型来了——130亿参数,无需申请即可商用。 不仅如此,它还附带着把全球最大之一的中文数据集也一并开源了出来:600G、1500亿tokens!

来自主题: AI资讯
8242 点击    2023-10-30 16:26