
微软亚研院新作:让大模型一口气调用数百万个API!
微软亚研院新作:让大模型一口气调用数百万个API!近年来,人工智能发展迅速,尤其是像ChatGPT这样的基础大模型,在对话、上下文理解和代码生成等方面表现出色,能够为多种任务提供解决方案。
近年来,人工智能发展迅速,尤其是像ChatGPT这样的基础大模型,在对话、上下文理解和代码生成等方面表现出色,能够为多种任务提供解决方案。
上下文长度真的能形成护城河吗?
自香农在《通信的数学原理》一书中提出「下一个 token 预测任务」之后,这一概念逐渐成为现代语言模型的核心部分。最近,围绕下一个 token 预测的讨论日趋激烈。
最近,Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字,10 倍的差距已经足够产生一次质变,做很多之前做不了的事情。感谢月之暗面给了提前测试的机会,我们直接开测!
刚刚,Mistral AI 的模型又更新了。 这次开源一如既往地「突然」,是在一个叫做 Cerebral Valley 的黑客松活动上公布的。
本文讨论了AI大模型的长上下文在生成式人工智能中的意义和影响。通过对Gemini 1.5和RAG技术的对比和分析,文章指出Gemini在处理长文档和长上下文方面表现出色,因此有人认为RAG技术已经过时。
“Claude 3、Gemini 1.5,是要把RAG(检索增强生成)给搞死了吗?”
半年时间,月之暗面把 AI 模型支持的上下文长度提升了一个数量级,实现了 200 万字上下文的「无损压缩」。
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
3月,国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。