星环科技孙元浩：语料已经是大模型最大的挑战
星环科技孙元浩：语料已经是大模型最大的挑战「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。
来自主题: AI资讯
9355 点击 2024-06-16 18:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
「原来以为语料已经匮乏了，大模型训练已经没有语料了，实际上不是的，数据还远远没有跑光」。
Meta AI的NLLB-200登上Nature，「不让任何一门语言掉队」，能翻译200种语言的大模型获得Nature社论的盛赞——复兴了濒临灭绝的语言，但是Nature研究人员也郑重提醒Meta，必须将使用这些语言的社区也纳入进来，才会真正减缓语言的消亡。
AI写了这么多代码，你还应该学习计算机科学吗？新的数据表明，学生们仍然成群结队地在大学里选修计算机：加州大学伯克利分校（UCB）计算机科学专业的一年级申请人数猛增48%！UCB教授分析，AI还没有学会创新，人类软件开发者可以利用AI提质增效。
大模型是世界模型吗？UA微软等机构最新研究发现，GPT-4在复杂环境的模拟中，准确率甚至不及60%。对此，LeCun激动地表示，世界模型永远都不可能是LLM。
GPT-4o掀起一股全模态（Omni-modal）热潮，去年的热词多模态仿佛已经不够看了。
AGI太遥远，只有模型降价是共识。
智源研究院公布大模型全家桶及全栈开源技术基座全新版图。
创造数字世界的能力，对于中小企业而言至关重要。
什么是 AGI？大模型和 Scaling Law 是其实现基座吗？怎么看价格战？四家大模型公司给出了自己的答案。
训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。