今天是个好日子，DeepSeek 与 Kimi 都更新了最新版的推理模型，吸引了广泛关注。与此同时，谷歌 DeepMind、加州大学圣地亚哥分校、阿尔伯塔大学的一篇新的研究论文也吸引了不少眼球，并直接冲上了 Hugging Face 每日论文榜第一（1 月 20 日）。
WaveForms致力于开发音频大模型（LLMs），通过创新的端到端音频处理技术，实现更加实时、类人化且情感智能化的语音交互。与传统语音模型不同，WaveForms的音频模型不是语音转文本再转语音，而是能够直接处理音频，实现更自然的对话和情感互动。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
该技术报告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均来自 Data, Knowledge, and Intelligence (DKI) 团队，为微软 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心开发者。
Grok AI 最近网页版刚刚上线。我看到不少人都在比较 Grok 对标 ChatGPT 等等 LLM 大模型的研究和生成能力。我想说，背靠 X （前推特）数据库的 Grok AI，最好的使用方式难道不是实时监测全球媒体热点吗？
AI编程蓝皮书火了，发布3天，阅读量超过3万！
在当今AI技术迅猛发展的背景下，大语言模型（LLM）的评估问题已成为一个不可忽视的挑战。传统的做法是直接采用最强大的模型（如GPT-4）进行评估，这就像让最高法院的大法官直接处理所有交通违章案件一样，既不经济也不一定总能保证公正。
2024又是AI精彩纷呈的一年。LLM不再是AI舞台上唯一的主角。随着预训练技术遭遇瓶颈，GPT-5迟迟未能问世，从业者开始从不同角度寻找突破。以o1为标志，大模型正式迈入“Post-Training”时代；开源发展迅猛，Llama 3.1首次击败闭源模型；中国本土大模型DeepSeek V3，在GPT-4o发布仅7个月后，用 1/10算力实现了几乎同等水平。
大型语言模型（LLMs）能够解决研究生水平的数学问题，但今天的搜索引擎却无法准确理解一个简单的三词短语。
对于 LLM，推理时 scaling 是有效的！这一点已经被近期的许多推理大模型证明：o1、o3、DeepSeek R1、QwQ、Step Reasoner mini……
