ICLR 2024 | 鸡生蛋蛋生鸡?再论生成数据能否帮助模型训练
ICLR 2024 | 鸡生蛋蛋生鸡?再论生成数据能否帮助模型训练随着生成模型(如 ChatGPT、扩散模型)飞速发展,一方面,生成数据质量越来越高,到了以假乱真的程度;另一方面,随着模型越来越大,也使得人类世界的真实数据即将枯竭。
随着生成模型(如 ChatGPT、扩散模型)飞速发展,一方面,生成数据质量越来越高,到了以假乱真的程度;另一方面,随着模型越来越大,也使得人类世界的真实数据即将枯竭。
搞 AI 大模型,实在太烧钱了。我们知道,如今的生成式 AI 有很大一部分是资本游戏,科技巨头利用自身强大的算力和数据占据领先位置,并正在使用先进 GPU 的并行算力将其推广落地。这么做的代价是什么?最近《华尔街日报》一篇有关明星创业公司的报道里给出了答案:投入是产出的 17 倍。
【新智元导读】在英伟达统治AI时代硬件的当下,谷歌的TPU却开辟了另一条道路。今天,小编带你了解第一块TPU的前世今生,同时揭开TPU架构的神秘面纱。
是时候让CPU在AI应用上 “支棱”起来了。
安克经常被国人认为是一家充电宝公司,但其实是个做细分品类的公司,充电宝收入只占他们收入的 10% 不到。2022 年,安克营收 20 亿美元,在充电和储能、影音设备、智能家居三个领域里,不少细分品类都做到了全球第一梯队。
【新智元导读】过去25年,半导体工艺制程不断逼近极限,才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测,未来十年,1万亿晶体管GPU将问世。
大模型的训练阶段我们选择GPU,但到了推理阶段,我们果断把CPU加到了菜单上。
AIGC的这把火,燃起来的可不只是百模大战的热度和雨后春笋般的各式AI应用。更是由于算力与通信需求的爆发式增长,使得底层的专用加速芯片、以及配备这些芯片的AI加速服务器再次被拉到了大众的聚光灯下。
今年GTC大会上,英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管,AI算力直接暴涨30倍。单芯片训练性能(FP8)是Hopper架构的2.5 倍,推理性能(FP4)是Hopper架构的5倍。具有第5代NVLink互连,并且可扩展至576个GPU。
作为大模型的「记忆体」,向量数据库重要性不言而喻。GTC 2024上,全球首个GPU加速向量数据库诞生了,由英伟达CUDA加持,性能实现50倍提升。5年前上海厂房里的一行代码,竟开启了一个时代。