性能无损，模型隐私保护效果提升50%!蚂蚁数科创新跨域微调框架| AAAI 2025 Oral
性能无损，模型隐私保护效果提升50%!蚂蚁数科创新跨域微调框架| AAAI 2025 Oral大模型的快速及持续发展，离不开对模型所有权及数据隐私的保护。
来自主题: AI技术研报
9577 点击 2025-03-04 10:38
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型的快速及持续发展，离不开对模型所有权及数据隐私的保护。
什么，你在开发RAG竟然还没听说过Embedding模型还有排名？在AI应用开发热潮中，Embedding模型的选择已成为决定RAG系统成败的关键因素。然而，令人惊讶的是，许多开发者仍依靠直觉或跟风选择模型，而非基于系统化评估。
黑石的野心远不止于对AI的“豪赌”。这家老牌资产管理公司正在加速转型，从传统的不动产投资巨头，转变为全球科技基础设施的资本掌舵者。
近年来，大型语言模型（LLMs）在代码相关的任务上展现了惊人的表现，各种代码大模型层出不穷。这些成功的案例表明，在大规模代码数据上进行预训练可以显著提升模型的核心编程能力。
Transformer 很成功，更一般而言，我们甚至可以将（仅编码器）Transformer 视为学习可交换数据的通用引擎。由于大多数经典的统计学任务都是基于独立同分布（iid）采用假设构建的，因此很自然可以尝试将 Transformer 用于它们。
发布手册公开运作方式，首次披露Max的用户数据。
单目深度估计新成果来了！西湖大学AGI实验室等提出了一种创新性的蒸馏算法，成功整合了多个开源单目深度估计模型的优势。在仅使用2万张无标签数据的情况下，该方法显著提升了估计精度，并刷新了单目深度估计的最新SOTA性能。
STP（自博弈定理证明器）让模型扮演「猜想者」和「证明者」，互相提供训练信号，在有限的数据下实现了无限自我改进，在Lean和Isabelle验证器上的表现显著优于现有方法，证明成功率翻倍，并在多个基准测试中达到最先进的性能。
DeepSeek最后一天，送上了3FS文件并行系统，以及数据处理框架Smallpond。五天开源连更，终于画上了完美的句号。
在 Scaling Law 背景下，预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉，缺乏全面和明确的指导方针。在此背景下，该研究提出了一个数据管理器 DataMan，其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。