几周前，我们发布了 jina-embeddings-v4 模型的 GGUF 版本，大幅降低了显存占用，提升了运行效率。不过，受限于 llama.cpp 上游版本的运行时，当时的 GGUF 模型只能当作文本向量模型使用而无法支持多模态向量的输出。
过去几年，大语言模型（LLM）的训练大多依赖于基于人类或数据偏好的强化学习（Preference-based Reinforcement Fine-tuning, PBRFT）：输入提示、输出文本、获得一个偏好分数。这一范式催生了 GPT-4、Llama-3 等成功的早期大模型，但局限也日益明显：缺乏长期规划、环境交互与持续学习能力。
清华大学最新提出的建筑专业知识驱动的平面图自动生成方案FloorPlan-LLaMa，解决传统模型「指标优秀但实际不可用」 痛点，让AI生成贴合建筑师设计偏好的可行方案。
从Llama 4「作弊刷分」丑闻，到143亿美元收购Scale AI，扎克伯格疯狂挖角，却换来团队内讧；上亿美元年薪，没能留住顶尖人才。Meta的超级智能实验室（MSL），到底是未来引擎，还是人心崩盘的深坑？
Meta在半年内第四次重组AI部门，将超级智能实验室拆分为四个团队，全面押注「超级智能」。新成立的TBD Lab由Alexandr Wang领衔，或放弃Llama 4并转向闭源模型，Meta开源旗帜动摇。Meta内部人心浮动，几家欢喜几家愁。
在大语言模型（LLMs）领域，自回归（AR）范式长期占据主导地位，但其逐 token 生成也带来了固有的推理效率瓶颈。此前，谷歌的 Gemini Diffusion 和字节的 Seed Diffusion 以每秒千余 Tokens 的惊人吞吐量，向业界展现了扩散大语言模型（dLLMs）在推理速度上的巨大潜力。
加拿大AI新贵Cohere获5亿美元融资、估值68亿美元，前Meta FAIR副总裁、PyTorch与Llama重要推手Joelle Pineau加盟出任首席AI官，或将开启企业AI新战局。
自首次提出 GPT 架构以来，转眼已经过去了七年。 如果从 2019 年的 GPT-2 出发，回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4，不难发现一个有趣的现象：尽管模型能力不断提升，但其整体架构在这七年中保持了高度一致。
《Physics of Language Models（语言模型物理学）》，正是将AI研究带入“物理学范式”的项目，由Meta FAIR研究院的朱泽园概念化发起，并统筹设计。
众所周知，老黄不仅卖铲子（GPU），还自己下场开矿（造模型）。
