ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练
ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
来自主题: AI技术研报
10637 点击 2024-04-01 15:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。
OpenAI 从未放慢前进的脚步，DALL・E 3 将支持对生成后的图片进行再次编辑。
攀登 Scaling Law，打造万亿参数大模型，前微软 NLP 大牛姜大昕披露创业路线图。
微软和OpenAI计划投资1000亿美元建造“星际之门”（Stargate）AI超级计算机。
【新智元导读】OpenAI机器人理解力虽强，却无法进行非语言交流。最近，哥伦比亚大学华人团队打造了全新的机器人Emo，不仅可以提前预测和模拟人类表情，还可以进行眼神交流。
OpenAI雪藏的新产品——语音合成引擎Voice Engine，终于被正式揭幕。 有了它，只需15秒的语音样本，就能克隆出一个人的声音，而且还能跨越语言！ APP版ChatGPT中的语音对话功能，也正是由这项技术所驱动。
2024会成AI应用多赛道混战爆发的年份吗
【新智元导读】炸裂消息！据外媒透露，微软和OpenAI正豪掷超千亿美元，欲打造一台「星际之门」超算。最快在2028年，「星际之门」就要启动了。而它对电力的需求，将达到前所未有的程度。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源，计算得出，在峰值时期Sora需要高达72万张英伟达H100 来支持，对应成本是1561亿人民币。