AI资讯新闻榜单内容搜索-token

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: token
为什么大模型API的output token比input token贵?

为什么大模型API的output token比input token贵?

为什么大模型API的output token比input token贵?

从大模型爆发到现在,我就一直好奇为什么output token比input token要贵,而且有的会贵好几倍!今天就这个话题和大家聊一聊。

来自主题: AI资讯
2072 点击    2024-09-11 10:21
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了

苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了

苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了

Llama 3.1 刚刚发布,你是否已经尝试了呢?就算你的个人计算机是最近的顶尖配置,运行其中最小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。

来自主题: AI技术研报
7870 点击    2024-08-02 16:07
无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

无限生成视频,还能规划决策,扩散强制整合下一token预测与全序列扩散

近日,MIT CSAIL 的一个研究团队(一作为 MIT 在读博士陈博远)成功地将全序列扩散模型与下一 token 模型的强大能力统合到了一起,提出了一种训练和采样范式:Diffusion Forcing(DF)。

来自主题: AI技术研报
4199 点击    2024-07-23 16:40
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。

来自主题: AI资讯
4471 点击    2024-07-23 16:10
「13.11>13.8」冲上热搜,一道题让人类AI集体降智?所有LLM致命缺点曝光

「13.11>13.8」冲上热搜,一道题让人类AI集体降智?所有LLM致命缺点曝光

「13.11>13.8」冲上热搜,一道题让人类AI集体降智?所有LLM致命缺点曝光

13.8和13.11哪个大?这个问题不光难倒了部分人类,还让一票大模型折戟。AI如今都能做AI奥数题了,但简单的常识问题对它们依然难如登天。其实,无论是比大小,还是卷心菜难题,都揭示了LLM在token预测上的一个重大缺陷。

来自主题: AI资讯
9406 点击    2024-07-17 19:46