AI资讯新闻榜单内容搜索-BitNet

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: BitNet
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值

1-bit大模型还能再突破!新一代BitNet架构启用4位激活值

1-bit大模型还能再突破!新一代BitNet架构启用4位激活值

近日,BitNet系列的原班人马推出了新一代架构:BitNet a4.8,为1 bit大模型启用了4位激活值,支持3 bit KV cache,效率再突破。

来自主题: AI技术研报
6399 点击    2024-12-05 11:12
微软、国科大开启1Bit时代:大模型转三进制,速度快4倍能耗降至1/41

微软、国科大开启1Bit时代:大模型转三进制,速度快4倍能耗降至1/41

微软、国科大开启1Bit时代:大模型转三进制,速度快4倍能耗降至1/41

今天凌晨,由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型,实现效果让人只想说两个字:震惊。

来自主题: AI技术研报
9598 点击    2024-02-29 13:42
微软6页论文爆火:三进制LLM,真香!

微软6页论文爆火:三进制LLM,真香!

微软6页论文爆火:三进制LLM,真香!

现在,大语言模型(LLM)迎来了“1-bit时代”。

来自主题: AI技术研报
2531 点击    2024-02-29 13:31