AI资讯新闻榜单内容搜索-训练

关键词: 绘蛙,AI电商,AI电商绘图,AI电商文案

据悉，“绘蛙”将为淘宝、天猫商家和达人在生成营销文案、训练专属AI模特等方面提升创作效率，使商品快速被种草。这是阿里在AI电商上的一次实质化的布局。

关键词: RNN,Transformer,Mamba,模型训练,DeepMind

去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。

关键词: 大模型训练,大模型压缩,OneBit

近期，清华大学和哈尔滨工业大学联合发布了一篇论文：把大模型压缩到 1.0073 个比特时，仍然能使其保持约 83% 的性能！

关键词: UniEdit,视频编辑框架,AI视频

随着 Sora 的爆火，人们看到了 AI 视频生成的巨大潜力，对这一领域的关注度也越来越高。

关键词: 大模型偏好,模型训练,对齐

在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。

关键词: AI生图,AI绘图,扩散模型

有人表示：「等待已久的 AI 图像创建功能终于迎来了图层！」

关键词: GPT,Transformer,模型训练

GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。

关键词: AI集群,GPT-3,Megatron-LM,AI基础设施,字节AI

随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。

关键词: UNet,ScaleLong扩散模型,模型训练,AI算法

本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。

关键词: OpenDiT,Sora模型,AI视频,AI视频模型,模型训练

根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。