AI资讯新闻榜单内容搜索-预训练

关键词: AI,openai,Ilya,预训练,Scaling Law

在Ilya探讨完「预训练即将终结」之后，关于Scaling Law的讨论再次引发热议。

关键词: AI,Ilya,预训练,人工智能

继李飞飞、Bengio、何恺明之后，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。

关键词: AI,Time-MoE,预训练,时间序列基础模型

Time-MoE采用了创新的混合专家架构，能以较低的计算成本实现高精度预测。研发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。

关键词: 模型训练,数据集,CLIP,CLIP预训练,AI算法

自2021年诞生，CLIP已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信CLIP的创新和成功来自其高质量数据（WIT400M），而非模型或者损失函数本身。虽然3年来CLIP有大量的后续研究，但并未有研究通过对CLIP进行严格的消融实验来了解数据、模型和训练的关系。

关键词: 大模型,语料库,数据集,模型训练,预训练模型

大模型语料是指用于训练和评估大模型的一系列文本、语音或其他模态的数据。

关键词: 大模型,语料库,数据集,模型训练,预训练模型

大模型语料是指用于训练和评估大模型的一系列文本、语音或其他模态的数据。语料规模和质量对大模型性能以及应用的深度、广度有着至关重要的影响。

关键词: AI,模型训练,AI训练,预训练模型

在人工智能的前沿领域，大语言模型（Large Language Models，LLMs）由于其强大的能力正吸引着全球研究者的目光。在 LLMs 的研发流程中，预训练阶段占据着举足轻重的地位，它不仅消耗了大量的计算资源，还蕴含着许多尚未揭示的秘密。

关键词: 大模型,预训练,监督微调

今天分享一篇符尧大佬的一篇数据工程（Data Engineering）的文章，解释了speed of grokking指标是什么，分析了数据工程