万字综述大模型高效推理:无问芯穹与清华、上交最新联合研究全面解析大模型推理优化
万字综述大模型高效推理:无问芯穹与清华、上交最新联合研究全面解析大模型推理优化近年来,大语言模型(Large Language Models, LLMs)受到学术界和工业界的广泛关注,得益于其在各种语言生成任务上的出色表现,大语言模型推动了各种人工智能应用(例如ChatGPT、Copilot等)的发展。然而,大语言模型的落地应用受到其较大的推理开销的限制,对部署资源、用户体验、经济成本都带来了巨大挑战。
近年来,大语言模型(Large Language Models, LLMs)受到学术界和工业界的广泛关注,得益于其在各种语言生成任务上的出色表现,大语言模型推动了各种人工智能应用(例如ChatGPT、Copilot等)的发展。然而,大语言模型的落地应用受到其较大的推理开销的限制,对部署资源、用户体验、经济成本都带来了巨大挑战。
距上次Karpathy AI大课更新之后,又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。
一个常被许多领导者引用、但很可能是被杜撰出来的名言是:“外行谈战略和战术,内行谈运营。”战术视角看到的是一个个独特的难题,而运营视角看到的是组织中需要需要改变的不协调的模式。战略视角看到的是机会,运营视角则看的是挑战。
WWDC 上,苹果终于发布了自己的 AI 功能——苹果智能(Artificial Intelligence),苹果、微软和谷歌在 AI 落地上的不同策略也可见一斑,有些选择集成,有些选择了模块化。 为什么会这么选?哪种策略可能赢得未来?
之前分享了我们在运营LLM应用时磨练出来的战术(tactics)【指之前的Part I 和Part II两篇文章】。战术是具体的:是为实现目标而采取的具体行动。我们还分享了对运营(Operations)的看法:为了执行战术,达到目标,而制定的更高层次的流程。
万众瞩目的WWDC24上,苹果果然用AI把iPhone全部重塑。重磅登场的Apple Intelligence,让苹果全系产品有了史诗级升级。Siri被全面重塑,自由穿梭于系统中。AI大牛Karpathy对此狂赞,然而马斯克却彻底怒了,下令全员禁用苹果!
AI 大牛 Andrej Karpathy 又「上新」了,这次一口气放出了长达四个小时的视频。
即使Sora已经强势“炸”过场,Pika还是再次带着硅谷一众明星资方的投票回到了舆论中心。
上周末在推特平台上有一篇写在谷歌文档里短文,在国外的科技/投资圈得到了非常广泛的浏览,叫做 The End of Software ( 软件的终结 ), 作者 Chris Paik 是位于纽约市的风险投资基金 Pace Capital 的创始合伙人,他之前同样在谷歌文档里总结的自己的投资框架也得到广泛的阅读。
Cloudflare最近宣布AI Gateway已普遍可用。AI Gateway作为管理和扩展生成式AI工作负载的统一接口,让开发人员能够监控和控制AI应用程序。