搜索
以 GPT-4o 为代表的实时交互多模态大模型（LMMs）引发了研究者对高效 LMM 的广泛关注。现有主流模型通过将视觉输入转化为大量视觉 tokens，并将其嵌入大语言模型（LLM）上下文来实现视觉信息理解。
在当前AI领域的快速发展中，“强推理慢思考”已经成为主要的发展动向之一，它们深刻影响着研发方向和投资决策。如何将强推理慢思考进一步推广到更多模态甚至是全模态场景，并且确保和人类的价值意图相一致，已成为一个极具前瞻性且至关重要的挑战。
2024年春节，我其实已经尝试过用AI的介入，来完成一些原本长辈需要我才能完成、但实际上并没有什么难度的问题。例如帮助长辈学习如何用提示词（Prompt），使用类似“什么问题+细节描述+发生场景+附加需求”这样的结构来获得更准确的回复，或是发掘一些AI App中自带的例如一键P图等功能。
VARGPT是一种新型多模态大模型，能够在单一框架内实现视觉理解和生成任务。通过预测下一个token完成视觉理解，预测下一个scale完成视觉生成，展现出强大的混合模态输入输出能力。
DeepSeek大爆出圈，现在连夜发布新模型——多模态Janus-Pro-7B，发布即开源。在GenEval和DPG-Bench基准测试中击败了DALL-E 3和Stable Diffusion。
我宣布，今年除夕夜拿春晚当BGM，但手里正儿八经真正在做的事，已经有了！
跟AI交互这事儿，商汤最新发布的大模型，是有点“够快、够准、够好”在身上的。
提一个冷知识。
下一代 AI 的发展，似乎遇到了难以逾越的瓶颈。去年 12 月，OpenAI 在 ChatGPT 两周年期间连续发布了 12 天，我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
先说结论： 多数模型，是色盲