北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力
北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
来自主题: AI技术研报
7084 点击 2025-03-17 16:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
大语言模型长序列文本生成效率新突破——生成10万Token的文本，传统自回归模型需要近5个小时，现在仅需90分钟！
为了构建鲁棒的 3D 机器人操纵大模型，Lift3D 系统性地增强 2D 大规模预训练模型的隐式和显式 3D 机器人表示，并对点云数据直接编码进行 3D 模仿学习。Lift3D 在多个仿真环境和真实场景中实现了 SOTA 的操纵效果，并验证了该方法的泛化性和可扩展性。
SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐
YC昨天投的那家公司，VectorShift，是一家AI应用自动化构建平台。他们利用人工智能来搜索知识库、生成文档并部署聊天机器人和助手，以帮助任何组织构建企业级AI应用程序。
22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。
大模型推理再次跃升一个新台阶！最近，全新开源的国产SwiftInfer方案，不仅能让LLM处理无限流式输入，而且还将推理性能提升了46%。
微软发福利，DALL-E 3可以和手机键盘绑定了！键盘区秒变生图区，在任何APP中都能使用。