
手机流畅处理128K长文本,vivo端侧新算法突破内存限制 | ACL 2025
手机流畅处理128K长文本,vivo端侧新算法突破内存限制 | ACL 2025在端侧设备上处理长文本常常面临计算和内存瓶颈。
来自主题: AI技术研报
8876 点击 2025-05-20 14:54
在端侧设备上处理长文本常常面临计算和内存瓶颈。
苹果近期开源本地端侧视觉语言模型FastVLM,支持iPhone等设备本地运行,具备快速响应、低延迟和多设备适配特性。该模型依托自研框架MLX和视觉架构FastViT-HD,通过算法优化实现高效推理,或为未来智能眼镜等新硬件铺路,体现苹果将AI深度嵌入系统底层的战略布局。
就在刚刚,奥特曼发了个推特,轻描淡写透露了个大消息: For our next open source project……
免费不限次/免登录,贾扬清团队的Elmo插件再次升级——
随着终端侧 AI 变革席卷全球,「小而强」的端侧大模型,成为行业主流玩家的必争之地。
英伟达在2024年2月14号的时候推出了这么一个产品,叫做Chat with RTX。顾名思义,就是和英伟达的显卡聊天。简单来说Chat with RTX是一个本地部署的大语言模型工具,可以实现和大语言模型对话,还支持处理多种文件类型,用户可以与其进行文本、PDF、Word文档等多种格式内容的交互。
2B性能小钢炮来了!刚刚,面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM,2B就能赶超Mistral-7B,还能越级比肩Llama2-13B。成本更是低到炸裂,170万tokens成本仅为1元!