北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力
北大团队提出LIFT：将长上下文知识注入模型参数，提升大模型长文本能力长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
来自主题: AI技术研报
9233 点击 2025-03-17 16:04
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
文心一言两周年，百度一口气上新两款模型，并且上来就是一个主题：免费。
36氪获悉，近日人形机器人公司松延动力北京科技有限公司（以下简称「松延动力」）完成连续两轮过亿元A轮及A+轮融资。A+轮由彬复领投，华强资本跟投；A轮投资方包括神骐资本、北京未来科学城基金、天启资本、泽然资本、教育科技集团战略方等机构。
“在AI时代，我们必须全面提升先进存力。”
“2025年会是AI智能体元年。” 开年的短暂时间里，关于智能体的押注再次如潮水涌现。
Khan Academy 和 Khanmigo 的创始人萨尔曼·可汗认为，人工智能可以为学生提供个性化的教学，同时让教师能够专注于他们最擅长的事情。
跨模态因果对齐，让机器更懂视觉证据！
在深度学习的多个应用场景中，联合优化多个损失项是一个普遍的问题。典型的例子包括物理信息神经网络（Physics-Informed Neural Networks, PINNs）、多任务学习（Multi-Task Learning, MTL）和连续学习（Continual Learning, CL）。然而，不同损失项的梯度方向往往相互冲突，导致优化过程陷入局部最优甚至训练失败。
最近的研究强调了扩散模型与表征学习之间的相互作用。扩散模型的中间表征可用于下游视觉任务，同时视觉模型表征能够提升扩散模型的收敛速度和生成质量。然而，由于输入不匹配和 VAE 潜在空间的使用，将视觉模型的预训练权重迁移到扩散模型中仍然具有挑战性。
7B小模型+3.8万条训练数据，就能让音频理解和推断评测基准MMAU榜单王座易主？