1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
来自主题: AI技术研报
6752 点击 2024-12-05 11:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
全球首个AI程序员Devin正以其自主编码、快速学习的超凡能力，挑战传统程序开发的边界。它不仅让投资界为之疯狂，更让程序员们既期待又警惕。这是技术革命的黎明，还是就要被颠覆的工作landscape？
太戏剧了！攻击字节训练集群的实习生，居然刚刚获得了NeurIPS 2024最佳论文奖？虽然看起来像爽文剧情，但这位高材生接下来的路，应该是难走了。
亚马逊宣布扩建AI计算集群并推出新AI产品。 豪掷80亿美元后，亚马逊“绑死”Anthropic，要建全球最大AI计算集群。
2024年6月18日，英伟达超越微软，成为全球市值最高的公司，创造了新的科技和商业历史。
移动端AI原生应用行业月活规模总数达到8976万！
本次竞品分析的对象是AI对话类产品，选取讯飞星火、文心一言、通义、Kimi、豆包这5款市面上比较火的产品，从页面布局、对话交互、亮点设计等多个方面来深入分析，相信看完这篇分析后，能让大家对这些热门AI对话产品有更深入的认识～
2024 年 12 月 1 月下午，奇绩创坛在北京中关村国际创新中心举办了 2024 年秋季创业营路演日，共有 60 家奇绩投资并加速的公司参与了路演。前沿创新信号：大模型（49 家），多模态（28 家），数据（24 家），具身智能（14 家），仿真（4 家）。
最近，一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后，一个仅80亿参数的小模型，在科学问题上也能和GPT-4o一较高下！或许，单纯地卷AI计算能力并不是唯一的出路。
![ICLR 惊现[10,10,10,10]满分论文，ControlNet 作者新作，Github 5.8k 颗星](https://www.aitntnews.com/pictures/2024/12/1/f51d4442-afae-11ef-81ba-fa163e47d677.jpg)
四个 10 分！罕见的一幕出现了。 您正在收看的，不是中国梦之队的跳水比赛，而是 ICLR 2025 的评审现场。 虽说满分论文不是前无古人，后无来者，但放在平均分才 4.76 的 ICLR，怎么不算是相当炸裂的存在呢。