我花300块组装的电脑,成功跑通了本地大模型
我花300块组装的电脑,成功跑通了本地大模型如果说2023年是大家公认的AI元年,那么2024年很可能就是AI大模型普及的关键一年。 在这一年里,大量的AI大模型、大量的AI应用问世,Meta、Google等厂商也开始面向民众推出自己的在线/本地大模型,似乎“AI人工智能”瞬间从一个遥不可及的概念,就这么突然来到了人们身边。
如果说2023年是大家公认的AI元年,那么2024年很可能就是AI大模型普及的关键一年。 在这一年里,大量的AI大模型、大量的AI应用问世,Meta、Google等厂商也开始面向民众推出自己的在线/本地大模型,似乎“AI人工智能”瞬间从一个遥不可及的概念,就这么突然来到了人们身边。
近日,朱泽园 (Meta AI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.3:知识的 Scaling Laws》用海量实验(50,000 条任务,总计 4,200,000 GPU 小时)总结了 12 条定律,为 LLM 在不同条件下的知识容量提供了较为精确的计量方法。
随着AI技术的广泛应用,从智能手机到自动驾驶汽车,从智能家居到工业自动化,AI供电芯片的需求量正呈爆炸式增长。它不仅为AI系统提供稳定的电力供应,确保系统的正常运行,而且还肩负着节能减排、降低能耗的重任。
不降低大模型算法精度,还能把芯片的算力利用效率提升 2~10 倍,这就是编译器的魅力。
算力供需平衡预计到2030年才能实现
近日,天才程序员Justine Tunney发推表示自己更新了Llamafile的代码,通过手搓84个新的矩阵乘法内核,将Llama的推理速度提高了500%!
【新智元导读】老黄新GPU深夜炸场,超高规格的背后也付出了不小的代价,小编带大家深入了解一下新架构的硬件细节和成本,新显卡的售价究竟高不高?英伟达也不得不开始卷了
JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow,也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。
AI程序员Devin上线几周之后,新一轮融资已经达到20亿美元。红杉警告,AI公司买GPU花了500亿,产生的收入只有30亿……