之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。
来自主题: AI技术研报
4576 点击 2024-11-05 16:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
之前我们聊过 RAG 里文档分块 (Chunking) 的挑战，也介绍了 迟分 (Late Chunking) 的概念，它可以在向量化的时候减少上下文信息的丢失。今天，我们来聊聊另一个难题：如何找到最佳的分块断点。
视觉语言模型（如 GPT-4o、DALL-E 3）通常拥有数十亿参数，且模型权重不公开，使得传统的白盒优化方法（如反向传播）难以实施。
北大校友打造的1000个智能体「我的世界」，背后原理揭晓了！ 团队全新公开35页技术报告，详尽解密AI智能体如何产生专业化分工、社交互动、甚至传播虚拟宗教……
复刻OpenAI o1推理大模型，开源界传来最新进展： LLaMA版o1项目刚刚发布，来自上海AI Lab团队。
SegVG是一种新的视觉定位方法，通过将边界框注释转化为像素级分割信号来增强模型的监督信号，同时利用三重对齐模块解决特征域差异问题，提升了定位准确性。实验结果显示，SegVG在多个标准数据集上超越了现有的最佳模型，证明了其在视觉定位任务中的有效性和实用性。
Segment Anything Model 2（SAM 2）在传统视频目标分割任务大放异彩，引起了众多关注。然而，港中文和上海 AI Lab 的研究团队发现 SAM 2 的贪婪选择策略容易陷入「错误累积」的问题，即一次错误的分割掩码选择将影响后续帧的分割结果，导致整个视频分割性能的下降。这个问题在长视频分割任务中显得更加严重。
让 LLM 在自我进化时也能保持对齐。
OpenAI o1彻底带火慢思考和思维链（CoT）方法，但CoT在某些任务上反而会降低模型表现。
Kapoor 在 2024 年 TechCrunch Disrupt 大会上启动了一场关于“新数据管道”的对话，讨论现代 AI 应用的背景，他的对话伙伴包括风险投资公司NEA的合伙人Vanessa Larco，以及数据集成平台Fivetran的首席执行官George Fraser。
来自中科大等单位的研究团队共同提出了用来有效评估多模态大模型预训练质量的评估指标 Modality Integration Rate（MIR），能够快速准确地评估多模态预训练的模态对齐程度。