近期，随着多模态大模型（LMM） 的能力不断进步，评估 LMM 性能的需求也日益增长。与此同时，在中文环境下评估 LMM 的高级知识和推理能力的重要性更加突出。
前几天，OpenAI 来了一波重磅更新，一口气宣布了 5 个新模型，其中就包括两个新的文本嵌入模型。
![WebVoyager：借助强大多模态模型，开创全新的网络智能体 [译]](https://www.aitntnews.com/pictures/2024/1/28/f64282bb-bd95-11ee-ba64-fa163e4b35c9.png)
借助强大多模态模型，开创全新的网络智能体 Hongliang He1,3∗, Wenlin Yao2, Kaixin Ma2, Wenhao Yu2, Yong Dai2, Hongming Zhang2, Zhenzhong Lan3, Dong Yu2 1 浙江大学，2 腾讯 AI 实验室，3 西湖大学
![构建企业级 RAG 系统的高级指南 [译]](https://www.aitntnews.com/pictures/2024/1/28/911d24f3-bd93-11ee-bbaa-fa163e4b35c9.png)
欢迎再次加入我们的“RAG 系统高级掌握”系列！我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。
融合多个异构大语言模型，中山大学、腾讯 AI Lab 推出 FuseLLM
在 AI 领域，推特博主的影响力可能比想象中要大。
ChatGPT悄悄更新个大功能！看起来要把插件系统迭代掉了。
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。
全新GPT-4 Turbo预览模型据介绍，该模型能更完整彻底地完成代码生成等任务，以减少模型未完成任务的“惰性”情况。
本文介绍首个大模型时代下的文本水印综述，由清华、港中文、港科广、UIC、北邮联合发布，全面阐述了大模型时代下文本水印技术的算法类别与设计、评估角度与指标、实际应用场景，同时深入探讨了相关研究当前面临的挑战以及未来发展的方向，探索文本水印领域的前沿趋势。
美国著名科技播客Latent Space对于刚刚过去的NeurIPS 2023上的精彩论文进行了一个全面的总结，回顾了多篇优秀论文，虽然没有获奖，但同样值得学界关注。
本文对思维链的推理步长进行了控制变量实验，发现推理步长和答案的准确性是线性相关的，这种影响机制甚至超越了问题本身所产生的差异。
爆肝7个月，谷歌祭出了AI视频大模型Lumiere，直接改变了游戏规则！全新架构让视频时长和一致性全面飞升，时长直接碾压Gen-2和Pika。
近日，小米集团新一代 Kaldi 团队关于语音识别声学模型的论文《Zipformer: A faster and better encoder for automatic speech recognition》被 ICLR 2024 接收为 Oral (Top 1.2%)。
现在，通过文本提示和一个 2D 边界框，我们就能在 3D 场景中生成对象。
目标跟踪是计算机视觉的一项基础视觉任务，由于计算机视觉的快速发展，单模态 (RGB) 目标跟踪近年来取得了重大进展。考虑到单一成像传感器的局限性，我们需要引入多模态图像 (RGB、红外等) 来弥补这一缺陷，以实现复杂环境下全天候目标跟踪。
去年，在加速大语言模型推理层面，我们迎来了一个比推测解码更高效的解决方案 —— 普林斯顿、UIUC 等机构提出的 Medusa。如今，关于 Medusa 终于有了完整技术论文，还提供了新的版本。
根据消息人士曝料，微软调集了各组中的精英，组建了一支新的AI团队，专攻小模型，希望能够摆脱对于OpenAI的依赖。
自从ChatGPT发布后，各种基于大模型的产品也快速融入了普通人的生活中，但即便非AI从业者在使用过几次后也可以发现，大模型经常会胡编乱造，生成错误的事实。
谷歌和威斯康星麦迪逊大学的研究人员推出了一个让LLM给自己输出打分的选择性预测系统，通过软提示微调和自评估学习，取得了比10倍规模大的模型还要好的成绩，为开发下一代可靠的LLM提供了一个非常好的方向。
状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。
OPO 无需训练即可实现实时动态对齐，而且因其即插即用的特性，适用于所有的开源与闭源大模型。
GPT-4表现比基准指数高出13%，回报率高达40%，同时保持了与市场相当的风险状况。
领跑中英文两大权威榜单，李开复零一万物交出多模态大模型答卷！
能处理音乐的多模态大模型，终于出现了！
外媒曝出谷歌2024年公司目标：做全球最强AI，同时要再裁更多的员工。网友吐槽，CEO拿巨额工资，产品无故取消，却只知道开人。
Sam Altman认为AGI很快就会降临，但若是没有感官兼备的AI何以称为智能？最近，UCLA等机构研究人员提出多模态具身智能大模型MultiPLY，AI可以知冷知热、辨音识物。
Transformer 在大模型领域的地位可谓是难以撼动。不过，这个AI 大模型的主流架构在模型规模的扩展和需要处理的序列变长后，局限性也愈发凸显了。Mamba的出现，正在强力改变着这一切。它优秀的性能立刻引爆了AI圈。
就在刚刚，OpenAI的最大秘密，被傅盛在130万人面前揭穿！百亿参数，竟能在企业级应用中媲美千亿级大模型；一张3060，就能帮老板打到「王者」！
