随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
OpenAI Realtime API 的「说明书」。
检索-增强生成 (RAG) 是一个永不过时的话题，并在不断扩展以增强LLMs 的功能。对于那些不太熟悉RAG 的人来说：这种方法利用外部知识来增强模型的能力，从外部资源中检索您实际需要的信息。
在大语言模型和 AIGC 的热潮下，科研人员对构建「视觉对话智能体」（Visual Chat Agent）展现出极大兴趣。其中，可实时交互的人像生成技术（Audio-Driven Real-Time Interactive Head Generation）是实现链路中极为关键的一环。
Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而 Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。
基于昇腾算力的矩阵运算改进求解器框架，大幅提升Local Optimum跳出能力。
Cresta由Zayd Enam、Tim Shi和Sebastian Thrun于2017年联合创立，目前由Wu Ping担任CEO，团队汇聚了来自Google、Facebook等顶尖科技公司的专家。
WebRTC 的早期创建者之一，Fixie.ai 联合创始人兼 CTO Justin Uberti 近日宣布加入 OpenAI，领导实时 AI （Real-Time AI）项目的开发。
眼睛唰一下就亮了！！特斯拉Optimus机器人又又又更新视频了。
在 Minecraft 中构造一个能完成各种长序列任务的智能体，颇有挑战性。现有的工作利用大语言模型 / 多模态大模型生成行动规划，以提升智能体执行长序列任务的能力。
