「上下文工程」 已经30岁了，而你可能刚知道它
「上下文工程」 已经30岁了，而你可能刚知道它AI时代，人不再只是「社会关系的总和」，而是由无数数据、记录和互动的上下文构成的。
来自主题: AI技术研报
11200 点击 2025-11-03 09:50
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
AI时代，人不再只是「社会关系的总和」，而是由无数数据、记录和互动的上下文构成的。
统一多模态模型要求视觉表征必须兼顾语义（理解）和细节（生成 / 编辑）。早期 VAE 因语义不足而理解受限。近期基于 CLIP 的统一编码器，面临理解与重建的权衡：直接量化 CLIP 特征会损害理解性能；而为冻结的 CLIP 训练解码器，又因特征细节缺失而无法精确重建。例如，RAE 使用冻结的 DINOv2 重建，PSNR 仅 19.23。
AEPO 系统性揭示了「高熵 Rollout 采样坍缩」和「高熵梯度裁剪」问题，并设计了「动态熵平衡 Rollout 采样」与「熵平衡策略优化」两项核心机制。前者通过熵预监控与连续分支惩罚实现全局与局部探索预算的自适应分配，后者在策略更新阶段引入梯度停止与熵感知优势估计以保留高熵 token 的探索梯度。
LayerComposer革新了个性化图像生成，让用户像在Photoshop里一样自由操控元素位置、大小，解决传统方法交互性与多主体扩展难题，实现更自然、高效的创作，推动个性化生成迈向主动交互新阶段。
直观经验却告诉我们，只要把同一物体的 “对应部分” 对齐，形状就会变得清晰。基于这一朴素而有效的直觉，作者提出SERES（Semantic-Aware Reconstruction from Sparse Views），在不改动主干框架的前提下，把跨视角的语义一致性变成一种训练期先验注入到模型里，用低成本的方法去解决高价值的歧义问题，让少量视角也能得到清晰而完整的几何。
近日，上海人工智能实验室针对该难题提出全新范式 SDAR (Synergistic Diffusion-AutoRegression)。该方法通过「训练-推理解耦」的巧妙设计，无缝融合了 AR 模型的高性能与扩散模型的并行推理优势，能以极低成本将任意 AR 模型「改造」为并行解码模型。
Game-TARS基于统一、可扩展的键盘—鼠标动作空间训练，可在操作系统、网页与模拟环境中进行大规模预训练。依托超5000亿标注量级的多模态训练数据，结合稀疏推理（Sparse-Thinking） 与衰减持续损失（decaying continual loss），大幅提升了智能体的可扩展性和泛化性。
论文第一作者何浩然是香港科技大学博士生，研究方向包括强化学习和基础模型等，研究目标是通过经验和奖励激发超级智能。共同第一作者叶语霄是香港科技大学一年级博士。通讯作者为香港科技大学电子及计算机工程系、计
在NeurIPS 2025论文中，来自「南京理工大学、中南大学、南京林业大学」的研究团队提出了一个极具突破性的框架——VIST（Vision-centric Token Compression in LLM），为大语言模型的长文本高效推理提供了全新的「视觉解决方案」。值得注意的是，这一思路与近期引起广泛关注的DeepSeek-OCR的核心理念不谋而合。
近日，OpenAI 宣称要在 2028 年实现让 AI 完全自主做研究，一下子又把焦点聚在了AI 科学家。 过去，AI 只是作为“助理”辅助研究者们进行科学研究。现在，美国哈佛大学与美国麻省理工学院联