
张鹏对话无问芯穹夏立雪:中国的Scaling Law是场景优势,异构算力解决大模型落地难题
张鹏对话无问芯穹夏立雪:中国的Scaling Law是场景优势,异构算力解决大模型落地难题CUDA 是英伟达的壁垒, 推理场景是算力未来的重点
来自主题: AI技术研报
4079 点击 2024-04-16 13:26
CUDA 是英伟达的壁垒, 推理场景是算力未来的重点
作为大模型的「记忆体」,向量数据库重要性不言而喻。GTC 2024上,全球首个GPU加速向量数据库诞生了,由英伟达CUDA加持,性能实现50倍提升。5年前上海厂房里的一行代码,竟开启了一个时代。
在12月推出AI新品之际,英特尔CEO基辛格把枪口对准了英伟达。基辛格先是公开强调英伟达CUDA软件的护城河没有外界想象的那么深,接着在麻省理工的一场论坛上名褒暗贬,称英伟达在AI GPU领域极其幸运(extraordinarily lucky)。
苹果新发布适用于苹果芯片的机器学习框架MLX,MLX是一个类似于NumPy的阵列框架,旨在为使用苹果硬件的研究人员简化 ML 模型的训练和部署。