
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值近日,BitNet系列的原班人马推出了新一代架构:BitNet a4.8,为1 bit大模型启用了4位激活值,支持3 bit KV cache,效率再突破。
来自主题: AI技术研报
6399 点击 2024-12-05 11:12
近日,BitNet系列的原班人马推出了新一代架构:BitNet a4.8,为1 bit大模型启用了4位激活值,支持3 bit KV cache,效率再突破。
今天凌晨,由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型,实现效果让人只想说两个字:震惊。
现在,大语言模型(LLM)迎来了“1-bit时代”。