在人工智能快速发展的今天，大型基础模型（如GPT、BERT等）已经成为AI应用的核心基石。然而，这些动辄数十亿甚至数万亿参数的模型给开发者带来了巨大的计算资源压力。传统的全参数微调方法不仅需要大量的计算资源，还面临着训练不稳定、容易过拟合等问题。
全球首起公开发现借助ChatGPT的犯罪事件，刚刚震惊全美。拉斯维加斯特朗普酒店外发生的Cybertruck爆炸案中，37岁嫌犯利用ChatGPT制造炸弹、查询信息。警方放出的资料显示，ChatGPT在这起案件中起到了重大作用。
真正有用的主力模型。
时隔6年，一度被认为濒死的“BERT”杀回来了——
Mamba 这种状态空间模型（SSM）被认为是 Transformer 架构的有力挑战者。近段时间，相关研究成果接连不断。而就在不久前，Mamba 作者 Albert Gu 与 Karan Goel、Chris Ré、Arjun Desai、Brandon Yang 一起共同创立的 Cartesia 获得 2700 万美元种子轮融资。
WebRTC 的早期创建者之一，Fixie.ai 联合创始人兼 CTO Justin Uberti 近日宣布加入 OpenAI，领导实时 AI （Real-Time AI）项目的开发。
EasyRec利用语言模型的语义理解能力和协同过滤技术，提升了在零样本学习场景下的推荐性能。通过整合用户和物品的文本描述，EasyRec能够生成高质量的语义嵌入，实现个性化且适应性强的推荐。
越来越多研究发现，后训练对模型性能同样重要。Allen AI的机器学习研究员Nathan Lambert最近发表了一篇技术博文，总结了科技巨头们所使用的模型后训练配方。
编码器模型哪去了？如果 BERT 效果好，那为什么不扩展它？编码器 - 解码器或仅编码器模型怎么样了？
前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客，首篇博文的话题关于：基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的，分析了BERT灭绝的始末以及不同架构模型的优缺点，以史为鉴，对于未来的创新具有重要意义。
