1-bit大模型还能再突破！新一代BitNet架构启用4位激活值
1-bit大模型还能再突破！新一代BitNet架构启用4位激活值近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
来自主题: AI技术研报
6578 点击 2024-12-05 11:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，BitNet系列的原班人马推出了新一代架构：BitNet a4.8，为1 bit大模型启用了4位激活值，支持3 bit KV cache，效率再突破。
2023 年，阿里妈妈首次提出了 AIGB（AI-Generated Bidding）Bidding 模型训练新范式（参阅：阿里妈妈生成式出价模型（AIGB）详解）。
昨天，为大家介绍了生成式对抗网络GAN，今天再来为大家介绍另一个有趣的模型：扩散模型，包括Stability AI、OpenAI、Google Brain在内的多个研究团队基于扩散模型提出了多种创新模型，如以文生图、图像生成视频生成等~
移动端AI原生应用行业月活规模总数达到8976万！
当地时间周一（12月2日），总部位于荷兰的人工智能基础设施公司Nebius Group NV在官网宣布，已与精选的机构和投资者达成最终协议，获得7亿美元的融资。
在这个信息爆炸的时代，我们每天都在被海量的数据淹没。如何从这些数据中挖掘出有价值的信息，已经成为了一个亟待解决的问题。今天，我们要给大家带来一个震撼人心的消息——AI界的两大神器，Hebbia和Wiseflow，正在改变我们获取和处理信息的方式。
BioMap 百图生科宣布，全球人工智能领域的顶尖专家、西湖大学人工智能讲席教授——李子青教授出任百图生科首席科学家（AI大模型）。
浙大、腾讯优图、华中科技大学的团队，提出轻量化MobileMamba！ 既良好地平衡了效率与效果，推理速度远超现有基于Mamba的模型。
下一个千亿美元市场，可能催生出3000亿美元独角兽。
人工智能虽然其提供了广泛的信息，却缺乏解决复杂问题所需的深入、结构化的推理能力，同时还存幻觉的局限。形式逻辑和相关数学工具为 AGI 的逻辑推理能力提供了必要的理论基础和技术支撑。