微软亚研院新作：让大模型一口气调用数百万个API！
微软亚研院新作：让大模型一口气调用数百万个API！近年来，人工智能发展迅速，尤其是像ChatGPT这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。
来自主题: AI资讯
7053 点击 2024-03-29 11:26
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来，人工智能发展迅速，尤其是像ChatGPT这样的基础大模型，在对话、上下文理解和代码生成等方面表现出色，能够为多种任务提供解决方案。
上下文长度真的能形成护城河吗？
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后，这一概念逐渐成为现代语言模型的核心部分。最近，围绕下一个 token 预测的讨论日趋激烈。
最近，Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字，10 倍的差距已经足够产生一次质变，做很多之前做不了的事情。感谢月之暗面给了提前测试的机会，我们直接开测！
刚刚，Mistral AI 的模型又更新了。 这次开源一如既往地「突然」，是在一个叫做 Cerebral Valley 的黑客松活动上公布的。
本文讨论了AI大模型的长上下文在生成式人工智能中的意义和影响。通过对Gemini 1.5和RAG技术的对比和分析，文章指出Gemini在处理长文档和长上下文方面表现出色，因此有人认为RAG技术已经过时。
“Claude 3、Gemini 1.5，是要把RAG（检索增强生成）给搞死了吗？”
半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
首先先来看看模型底座，阶跃星辰发布了两款，分别是Step-1V和Step-2。其中Step-1V具有千亿参数，支持多模态能力，和GPT4-Turbo一样，128K上下文，不过这款不算惊艳，只能算主流大模型中的正常水平。
3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。