
马斯克大模型Grok1.5来了:推理能力大升级,支持128k上下文
马斯克大模型Grok1.5来了:推理能力大升级,支持128k上下文马斯克搞大模型,速度也奇快。
马斯克搞大模型,速度也奇快。
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法:它仅用8k大小的token文档进行训练,就能将Llama-2窗口扩展至128k。
Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?
OpenAI的CEO Altman在分享了GPT-4的数十项新增功能和改进,并降低了平台许多服务的定价: 新的GPT-4 Turbo模型,功能更强大、更便宜并支持128K上下文窗口。 最为关键的是,发布了GPTs功能,能让每个用户自己制作自己「定制化的ChatGPT」,还能通过即将发布的「GPT Store」来让自己定制的GPT为自己挣钱!
OpenAI在首届开发者日上,正式公布自定义GPT。与此同时,现有的GPT-4也迎来一大波更新。 新版本GPT-4 Turbo,支持128k上下文,知识截止更新到2023年4月,视觉能力、DALL·E3,文字转语音TTS等等全都对API开放…… API价格还打了3-5折。