4比特量化三倍加速不掉点!清华即插即用的SageAttention迎来升级
4比特量化三倍加速不掉点!清华即插即用的SageAttention迎来升级大模型中,线性层的低比特量化已经逐步落地。然而,对于注意力模块,目前几乎各个模型都还在用高精度(例如 FP16 或 FP32)的注意力运算进行训练和推理。并且,随着大型模型需要处理的序列长度不断增加,Attention(注意力运算)的时间开销逐渐成为主要开销。
大模型中,线性层的低比特量化已经逐步落地。然而,对于注意力模块,目前几乎各个模型都还在用高精度(例如 FP16 或 FP32)的注意力运算进行训练和推理。并且,随着大型模型需要处理的序列长度不断增加,Attention(注意力运算)的时间开销逐渐成为主要开销。
“十多年前有本书叫《人人都是产品经理》,但现在可能才真正到了「人人都是产品经理」的时刻。” 苹果商店付费榜Top1,这是一个不会代码的独立开发者用Cursor开发App的最佳战绩。
在 10 月 AI 产品榜全球访问量 Top100 榜单中,出现了一款之前没见过的产品 Submagic,该产品位列第 56,本月访问量达到 1262W,环比增幅达 119.87%。在最近已经有些固化、很少出现新产品的 AI 榜单,实属难得。
最近,专注做AI转型的Zeta Alpha对2023年引用次数最多的 AI 论文进行了排名,列出了影响力最高的100篇论文,引发了业界热议,并且就论文的机构也做了一个梳理。
流量Top100的AI产品独占6席。 在前些日子出炉的 a16z Top100 AI 榜单中,公司层面,字节可谓是最大赢家,在 Top 50 Web 和 App 两大榜单中,来自字节的 AI 产品一共占了 6 席,5 款产品上榜,是占有席次和上榜产品数量最多的公司。
国产大模型首次在公开榜单上超过GPT-4o! 就在刚刚,“大模型六小强”之一的零一万物正式对外发布新旗舰模型——Yi-Lightning(闪电)。
男性用户也有属于自己的3D版“赛博女友”了? 2024年《恋与深空》的问世带领国产乙游进入3D时代,女性用户的“男友”从2D纸片人进化成了3D建模,这一创新致使《恋与深空》开服10个月依然稳坐乙游赛道TOP1,流水一度超过《王者荣耀》登顶iOS畅销榜,真实感更强的3D建模无疑成为了恋爱陪伴赛道的“当红炸子鸡”。
世界上首台基于Arm架构的超算,现如今终于退役了。 2018年5月,这台拥有10000个核心的系统Isambard 2首次部署。 它使用了由Cavium开发、台积电制造的64位Armv8 ThunderX2处理器,外加几个Nvidia P100 GPU。
AI产品整体流量合计超过50亿,环比降低7.87%,Chat助手类产品流量占据57.74%。
AI给科技巨头带来了舞台,带来了希望。