AI资讯新闻榜单内容搜索-训练

关键词: AI生图,AI绘图,扩散模型

有人表示：「等待已久的 AI 图像创建功能终于迎来了图层！」

关键词: GPT,Transformer,模型训练

GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。

关键词: AI集群,GPT-3,Megatron-LM,AI基础设施,字节AI

随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。

关键词: UNet,ScaleLong扩散模型,模型训练,AI算法

本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。

关键词: OpenDiT,Sora模型,AI视频,AI视频模型,模型训练

根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。

关键词: Llama-2,羊驼大模型,上下文限制,CEPE,并行编码上下文扩展

陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。

关键词: Reddit,美国贴吧,AI模型,模型训练

Reddit和OpenAI及谷歌，竟有着如此错综复杂的关系？最近，Reddit和谷歌双双官宣了一项6000万美元的合作协议，Reddit的数据将帮助谷歌训练AI模型。巧的是，Altman正是Reddit股东之一。

关键词: MATRIX,模型训练,对齐,Constitutional AI,社会模拟框架

随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？

关键词: 大模型,Scaling Law,模型训练

大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。

关键词: AI,AI训练,微软AI,AI数据集

没有微软账户就用不了 Windows？马斯克怒斥大厂收集用户数据训练 AI。