为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下让模型知道自己擅长什么、不擅长什么是一个很重要的问题。
来自主题: AI资讯
7465 点击 2024-07-27 19:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。
Llama 3.1 405B巨兽开源的同时，OpenAI又抢了一波风头。从现在起，每天200万训练token免费微调模型，截止到9月23日。
榨干16000块H100、基于15亿个Tokens训练。
近日，MIT CSAIL 的一个研究团队（一作为 MIT 在读博士陈博远）成功地将全序列扩散模型与下一 token 模型的强大能力统合到了一起，提出了一种训练和采样范式：Diffusion Forcing（DF）。
当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。
价格战的烽烟终究是吹到了OpenAI，取代GPT-3.5的GPT-4o mini正式上线，每100万Token的输入/输出分别是15美分/60美分。而在此之前，国内的大模型厂商已经把大模型的体验成本降低到了几乎免费。 继“百模大战”后，越来越多企业意识到大模型只是“技术和能力”，只有利用这个新工具帮行业解决实际问题，才能让大模型在业务层面带来效率提升，本质上这也是大模型“商业化”的必经之路。
GPT-4o mini深夜忽然上线，OpenAI终于开卷小模型！每百万输入token已达15美分的超低价，跟GPT-3相比，两年内模型成本已降低99%。Sam Altman惊呼：通往智能的成本，已变得如此低廉！另外，清华同济校友为关键负责人。
OpenAI突发新模型，GPT-3.5退役，大模型成本2年骤降99%
自回归解码已经成为了大语言模型（LLMs）的事实标准，大语言模型每次前向计算需要访问它全部的参数，但只能得到一个token，导致其生成昂贵且缓慢。
13.8和13.11哪个大？这个问题不光难倒了部分人类，还让一票大模型折戟。AI如今都能做AI奥数题了，但简单的常识问题对它们依然难如登天。其实，无论是比大小，还是卷心菜难题，都揭示了LLM在token预测上的一个重大缺陷。