搜索
在这个数据为王的时代，数据是人工智能的三大支柱之一，其重要性不言而喻。最近，OpenAI 收购了数据库初创公司 Rockset，迅速引起了业内外的广泛关注。OpenAI 早已在算法和计算能力方面遥遥领先，通过这次战略性的收购，OpenAI 将在其产品中融合 Rockset 的先进数据索引和查询技术，帮助 OpenAI 将数据转化为 “可操作智能”。
AI 和数据库真正的大一统时代要来了？
是时候把数据Scale Down了！Llama 3揭示了这个可怕的事实：数据量从2T增加到15T，就能大力出奇迹，所以要想要有GPT-3到GPT-4的提升，下一代模型至少还要150T的数据。好在，最近有团队从CommonCrawl里洗出了240T数据——现在数据已经不缺了，但你有卡吗？
中科大、上海AI实验室等组成的ShareGPT4V团队，推出了新的视频数据集，登顶HuggingFace排行榜！
AI卫星影像知识生成模型数据集稀缺的问题，又有新解了。
「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。
训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。
从大规模网络爬取、精细过滤到去重技术，通过FineWeb的技术报告探索如何打造高质量数据集，为大型语言模型（LLM）预训练提供更优质的性能。
使用大模型合成的数据，就能显著提升3D生成能力？
CRATE-α是一种新型Transformer架构变体，通过设计改进提升了模型的可扩展性、性能和可解释性，CRATE-α-Base在ImageNet分类任务上的性能显著超过了之前最好的CRATE-B模型，其性能会随着模型和数据集规模扩大而继续提升。