
开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险基于开源模型继续在下游任务上使用私有下游数据进行微调,得到在下游任务表现更好的专有模型,已经成为了一类标准范式。
基于开源模型继续在下游任务上使用私有下游数据进行微调,得到在下游任务表现更好的专有模型,已经成为了一类标准范式。
普林斯顿大学与字节 Seed、北大、清华等研究团队合作提出了 MMaDA(Multimodal Large Diffusion Language Models),作为首个系统性探索扩散架构的多模态基础模型,MMaDA 通过三项核心技术突破,成功实现了文本推理、多模态理解与图像生成的统一建模。
近日,具身智能公司「星际光年」宣布连续完成数千万天使轮和天使+轮融资,天使轮由峰瑞资本领投,嘉程资本跟投,天使+轮由云时资本领投,水木清华校友种子基金跟投。据悉,本轮融资将用于加速产品研发升级,扩大团队规模,加速场景落地。
不用引入外部数据,通过自我博弈(Self-play)就能让预训练大模型学会推理?
今年3月,DeepSeek迅速席卷全国医疗机构。据不完全统计,短短一个月内全国已经有 超300家 医院完成DeepSeek的本地部署,遍布北京、上海、安徽、四川、广东、河北、湖南、江苏等二十多个省市和自治区。
模型胡乱论证“1+1=3”,评测系统却浑然不觉甚至疯狂打Call?是时候给奖励模型打个分了!
多模态奖励模型(MRMs)在提升多模态大语言模型(MLLMs)的表现中起着至关重要的作用:
长文本能力对语言模型(LM,Language Model)尤为重要,试想,如果 LM 可以处理无限长度的输入文本,我们可以预先把所有参考资料都喂给 LM,或许 LM 在应对人类的提问时就会变得无所不能。
扩散模型(Diffusion Models)近年来在生成任务上取得了突破性的进展,不仅在图像生成、视频合成、语音合成等领域都实现了卓越表现,推动了文本到图像、视频生成的技术革新。然而,标准扩散模型的设计通常只适用于从随机噪声生成数据的任务,对于图像翻译或图像修复这类明确给定输入和输出之间映射关系的任务并不适合。
当前大模型研究正逐步从依赖扩展定律(Scaling Law)的预训练,转向聚焦推理能力的后训练。鉴于符号逻辑推理的有效性与普遍性,提升大模型的逻辑推理能力成为解决幻觉问题的关键途径。