陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
来自主题: AI技术研报
11113 点击 2024-02-29 13:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
2月16日，OpenAI推出了堪称“王炸”的文生视频大模型Sora，AI军备竞赛的战场加速向多模态转移，这意味着相比寻常LLM更为丰富的场景与机会。此外，2024年将成为AI硬件元年的共识也基本形成，业界对AI在智能终端的应用寄予厚望，将其视为提振消费电子市场的关键。
北京时间2月28日港股盘后，百度（9888.HK；BIDU.O）发布了2023年第四季度财报。
Coze 是字节出海的产品，访问地址为 coze.com，扣子是字节2月1日在国内上线的产品，访问地址为 coze.cn，
成立仅9个月，法国Mistral AI拿出仅次于GPT-4的大模型。
2月26日，总部位于巴黎的人工智能公司Mistral AI发布尖端文本生成模型Mistral Large。该模型达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。
2月22日，英伟达发布2024财年四季报，营收221亿美元，同比增长265%，净利润123亿美元，同比激增769%，双双大超市场预期。
每年都要拉出来被嘲讽一番的苹果泰坦计划，今日彻底宣告终结。项目员工要么转岗，要么遣散。L5放弃、L2难成，美国电车遇冷。显然，全球的下一个风口是生成式AI。面对烧光的几十亿刀，及时止损，是苹果最后的体面。
英伟达在2024年2月14号的时候推出了这么一个产品，叫做Chat with RTX。顾名思义，就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具，可以实现和大语言模型对话，还支持处理多种文件类型，用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
近期，DiT（Diffusion Transformer）论文的作者谢赛宁在朋友圈分享了他对 Sora 的看法，其中核心资源的排序是——人才第一、数据第二、算力第三，其他都没有什么是不可替代的。