DeepSeek最后一天，送上了3FS文件并行系统，以及数据处理框架Smallpond。五天开源连更，终于画上了完美的句号。
随着 AI 能力的提升，一个常见的话题便是基准不够用了——一个新出现的基准用不了多久时间就会饱和，比如 Replit CEO Amjad Masad 就预计 2023 年 10 月提出的编程基准 SWE-bench 将在 2027 年饱和。
Phi-4系列模型上新了！56亿参数Phi-4-multimodal集语音、视觉、文本多模态于一体，读图推理性能碾压GPT-4o；另一款38亿参数Phi-4-mini在推理、数学、编程等任务中超越了参数更大的LLM，支持128K token上下文。
在 Scaling Law 背景下，预训练的数据选择变得越来越重要。然而现有的方法依赖于有限的启发式和人类的直觉，缺乏全面和明确的指导方针。在此背景下，该研究提出了一个数据管理器 DataMan，其可以从 14 个质量评估维度对 15 个常见应用领域的预训练数据进行全面质量评分和领域识别。
DeepSeek开源周的最后一天，迎来的是支撑其V3/R1模型全生命周期数据访问需求的核心基础设施 — Fire-Flyer File System(3FS) 和构建于其上的Smallpond数据处理框架。
DeepSeek开源周，今日正式收官！内容依旧惊喜且重磅，直接公开了V3和R1训练推理过程中用到的文件系统。Fire-Flyer文件系统（简称3FS，第三个F代表File），一种利用现代SSD和RDMA网络的全部带宽的并行文件系统；
2024年核心业务总合同订单数千万。
动辄百亿、千亿参数的大模型正在一路狂奔，但「小而美」的模型也在闪闪发光。
斯坦福和普林斯顿研究者发现，DeepSeek-R1生成的自定义CUDA内核，完爆了o1和Claude 3.5 Sonnet，拿下总排名第一。虽然目前只能在不到20%任务上超越PyTorch Eager基线，但GPU编程加速自动化的按钮，已经被按下！
第四天，DeepSee发布包括三个主要项目： DualPipe- 一种用于 V3/R1 训练的双向流水线并行算法，实现计算和通信完全重叠； EPLB(Expert Parallelism Load Balancer) - 专为 V3/R1 设计的专家并行负载均衡器； Profile-data- 分析 V3/R1 中计算与通信重叠的性能数据集。
