搜索
苹果近期开源本地端侧视觉语言模型FastVLM，支持iPhone等设备本地运行，具备快速响应、低延迟和多设备适配特性。该模型依托自研框架MLX和视觉架构FastViT-HD，通过算法优化实现高效推理，或为未来智能眼镜等新硬件铺路，体现苹果将AI深度嵌入系统底层的战略布局。
在人工智能领域，语言模型的发展日新月异，推理能力作为语言模型的核心竞争力之一，一直是研究的焦点，许多的 AI 前沿人才对 AI 推理的效率进行研究。
多模态，性能超 GPT-4o Mini、Gemma 3，还能在单个 RTX 4090 上运行，这个小模型值得一试。
动辄百亿、千亿参数的大模型正在一路狂奔，但「小而美」的模型也在闪闪发光。
大厂为什么追求大模型？ 昨天有提到，为什么要研究语言模型。
a16z 合伙人 Jennifer Li 最近分享了她对生成式 AI 的最新见解，特别提到了设备端运行的小型模型在未来的重要性。
自从 Chatgpt 诞生以来，LLM（大语言模型）的参数量似乎就成为了各个公司的竞赛指标。GPT-1 参数量为 1.17 亿（1.17M），而它的第四代 GPT-4 参数量已经刷新到了 1.8 万亿（1800B）。
商汤科技联合创始人、执行董事徐冰出席香港金融科技周活动，并与前福布斯记者Olivia Kinghorst做现场对谈。在近20分钟的对话中，双方讨论了AI云平台市场趋势、投资判断、超级应用、竞争格局等话题。
Zamba2-7B是一款小型语言模型，在保持输出质量的同时，通过创新架构实现了比同类模型更快的推理速度和更低的内存占用，在图像描述等任务上表现出色，能在各种边缘设备和消费级GPU上高效运行。
欧洲的OpenAI，也不Open了。