2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍
2080 Ti就能跑70B大模型,上交大新框架让LLM推理增速11倍上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。
搜索
上海交大IPADS实验室推出的开源推理框架PowerInfer,让大模型推理速度加快了11倍。
从 ChatGPT 最初发布算起,虽然大模型的热潮已经持续了一年多,但大部分时间依然停留在学术前沿和技术创新层面,深入具体场景实现产业价值的案例并不多见。
最近,各家手机厂商都在不约而同地做着一件事:把生成式 AI 搬上手机。
香港中文大学(深圳)数据科学学院武执政副教授团队联合上海人工智能实验室 OpenMMLab 团队开源了综合音频生成项目 Amphion(安菲翁)。该系统旨在打造一个集语音合成转换、歌声合成转换、音效音乐生成等多功能为一体的开源平台。
谷歌的 Gemini 到底几斤几两?和 OpenAI 的 GPT 模型相比表现如何?CMU 这篇论文测明白了。
近日,腾讯 AI Lab 的游戏 AI 团队宣布了其决策智能 AI "绝悟" 在《星际争霸 2》中的最新研究进展,提出一种创新的训练方法显著提升了 AI 的局内策略应变能力,使其在考虑了 APM 公平的对战环境中,与 3 位国内顶尖的神族职业选手各进行多达 20 局神族 vs 神族的对战,稳定地保持 50% 及以上的胜率。
最近,这张号称「或许是2024年最重要的AI图之一」的图开始热转,可以看到,开源本地模型,已经取代了大规模、基于云的昂贵封闭模型,这种转变令人兴奋、着迷。
被评为「2023年10大科学人物」的Ilya Sutskever,曾经多次强调:只要能够非常好得预测下一个token,就能帮助人类达到AGI。
2023这个大模型爆发的元年即将过去,展望未来,比尔盖茨,李飞飞,吴恩达等人对2024年人工智能的发展作出了自己的预测。
Creatify是一个使用人工智能技术生成高质量营销视频的应用程序。用户只需输入产品链接或上传相关描述和图片,Creatify即可生成引人注目的视频广告。