200万上下文窗口创飞Gemini 1.5！微软来砸谷歌场子了（doge）
200万上下文窗口创飞Gemini 1.5！微软来砸谷歌场子了（doge）谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。
来自主题: AI技术研报
5933 点击 2024-02-24 11:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
谷歌刚刷新大模型上下文窗口长度记录，发布支持100万token的Gemini 1.5，微软就来砸场子了。
ChatGPT突然失去理智，被网友们吵翻了天。许多用户在请求ChatGPT问题时，发现它开始胡言乱语，大篇重复。不一会儿，OpenAI给出官方解释：下一token概率预测相关，目前bug已修复。
技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。
大模型提速，抢走英伟达饭碗
我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。
月之暗面，拿到了中国大模型初创公司自ChatGPT出现至今的最大一笔单轮融资，10亿美元。
2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。
端侧大模型的火爆，为手机市场带来了新的活力。而颇具创新性的AI应用出现，不仅让手机OEM厂商多了一个可卷的领域，还为用户带来了全新体验，并一定程度上刺激了消费升级，推动手机市场回暖。
Moonshot AI 开放平台今天正式启动公开测试。为了方便 AI 开发者快速接入模型能力，Moonshot AI 开放平台的 API 与 OpenAI 兼容。开发者可以平滑迁移，无需对代码做任何基本参数外的“额外”修改，立即体验到 moonshot 模型的能力。
模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。