1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
来自主题: AI技术研报
6379 点击 2024-12-05 11:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
拜登政府下台之前，还要公布一项限制芯片出口的新举措。据称，新规重点放在了对特定中国实体，以及100多家芯片制造设备研发公司的出口限制。另外，还会新增一些高带宽内存（HBM）条款。
近日，美国政府效率部的马部长(Elon Musk)“跨到科技界”做了一个超级计算机/数据中心，名字叫做 Colossus (巨像)。
AI芯片越买越多，电却不够用了。
在今天的Ignite开发者大会上，微软发布了两款专为其数据中心基础设施设计的新芯片：Azure Integrated HSM和Azure Boost DPU。
现阶段这一方案的前景如何？我们尚不得而知。
国产GPU独角兽摩尔线程正式启动IPO！ 官网显示，摩尔线程智能科技股份有限公司在北京证监局办理辅导备案登记，正式启动A股上市进程，辅导机构为中信证券股份有限公司。
英伟达市值重回第一之际，黄仁勋再次接受采访。 除了谈自己和英伟达，还吹了一波马斯克，再再再次赞赏xAI只花19天建起10万卡H100超级集群。
2024年7月22日凌晨，xAI创始人Elon Musk在推特上正式宣布，在凌晨4:20分正式启动了世界上最强的AI训练集群。 这个训练集群建设在美国田纳西州孟菲斯市，集合了10 万个液冷H100芯片。
目前苹果在AI服务器市场的需求相对较小，但寻找合适的供应商并不简单。