模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
该技术报告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均来自 Data, Knowledge, and Intelligence (DKI) 团队，为微软 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心开发者。
据 TechCrunch 报道，OpenAI 可能即将发布一款 AI 工具，可以控制用户的电脑并代表用户执行操作。
初创公司DeepWriter宣布：世界第一部完全由AI写作的10万字商业竞争书籍诞生了！全程没有人类参与工作，不到4小时，即可完成约10万单词的商业书籍创作。
ittor Geometric 1.0是由中国人民大学与东北大学联合开发的图机器学习库，基于国产Jittor框架，高效灵活，可助力处理复杂图结构数据，性能优于同类型框架，支持多种前沿图神经网络模型，已开源供用户使用。
网友盛赞“最有用的大模型应用”，小红书AI翻译功能上线了！（Doge）
AI 编程工具的发展令人目不暇接。从年初 Devin 这款被称为“首个真正的 AI工程师”的产品发布，到年中 Anthropic 在 Claude 3.5 Sonnet 模型推出「Artifacts」功能的重大突破，再到 Cursor、Windsurf 等新一代 IDE 的崛起，AI 正在重塑程序员的工作方式。
欧莱雅与IBM正在合作开发一款定制化的生成式人工智能（GenAI）模型，旨在加速化妆品配方流程，进一步拓展生成式AI在个人护理市场的应用版图。 IBM表示，这款定制AI工具将“显著提升欧莱雅研发团队在各个化妆品品类和全球市场的性能表现与消费者满意度”。
如果2023年给大模型的关键词是席卷，那么在2024，这个关键词应该是渗透。最常用的软件、手机PC本身、甚至厨卫/电源开源，都在被AI重塑。主观感受中，这一年，AI更加强大，以前所未有的速度嵌入各行各业。
在当今AI技术迅猛发展的背景下，大语言模型（LLM）的评估问题已成为一个不可忽视的挑战。传统的做法是直接采用最强大的模型（如GPT-4）进行评估，这就像让最高法院的大法官直接处理所有交通违章案件一样，既不经济也不一定总能保证公正。
