只激活3.8B参数，性能比肩同款7B模型！训练微调都能用，来自微软
只激活3.8B参数，性能比肩同款7B模型！训练微调都能用，来自微软只需激活60%的参数，就能实现与全激活稠密模型相当的性能。
来自主题: AI技术研报
10227 点击 2024-07-18 16:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
只需激活60%的参数，就能实现与全激活稠密模型相当的性能。
「AI教母」创业，3个月就干出了估值10亿的AI独角兽。
创业夫妻店雇AI做设计，显示器爆单成行业品牌No.1。这背后，不仅是3亿用户出海业务给的底气，也是因为一个团队一心做好了3件事。
World Labs被曝已完成2轮融资，最新一轮融资金额约1亿美元。
AI 视频生成公司 HeyGen 最近完成了 6000 万美元的 A 轮融资，公司估值已达 5 亿美元。此次融资由 Benchmark 领投，Conviction、Thrive Capital 和 Bond Capital 参与。截至目前，HeyGen 已累计筹到 7400 万美元。
艾瑞推算2023年中国AI基础数据服务市场规模为45亿元。
自回归解码已经成为了大语言模型（LLMs）的事实标准，大语言模型每次前向计算需要访问它全部的参数，但只能得到一个token，导致其生成昂贵且缓慢。
13.8和13.11哪个大？这个问题不光难倒了部分人类，还让一票大模型折戟。AI如今都能做AI奥数题了，但简单的常识问题对它们依然难如登天。其实，无论是比大小，还是卷心菜难题，都揭示了LLM在token预测上的一个重大缺陷。
是中厂的机会 还是大厂的机会？
本文揭示了OpenAI一年创收34亿美元的收入构成，主要来自ChatGPT付费用户，API收入仅占15%。