AI训练数据之困：垃圾进，垃圾出
AI训练数据之困：垃圾进，垃圾出所有模型都是通过在来自互联网的海量数据上进行训练来工作的，然而，随着人工智能越来越多地被用来生成充满垃圾信息的网页，这一过程可能会受到威胁。
来自主题: AI资讯
8799 点击 2024-09-09 10:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
所有模型都是通过在来自互联网的海量数据上进行训练来工作的，然而，随着人工智能越来越多地被用来生成充满垃圾信息的网页，这一过程可能会受到威胁。
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
训练数据的质量优劣，直接影响人工智能（AI）大模型的能力水平。
基于公司私有组件生成代码，这个问题的本质是：由于大模型的训练数据集不包含你公司的私有组件数据，因此不能够生成符合公司私有组件库的代码。
反垄断案败诉，谷歌或将面临「分家」，一旦与Chrome和安卓操作系统解绑，谷歌该何去何从？
人工智能系统依靠充足、高质量的训练数据来获得高性能，但MIT等机构最近的一项研究发现，曾经免费提供的数据在多个方面变得越来越难获取。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。
为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
训练数据是用 GPT-4o 生成的？那质量不好说了。
近日，《连线》杂志联合ProofNews联合发表一篇调查文章，指责苹果、Anthropic等科技巨头未经许可使用YouTube视频训练AI模型。但训练数据的使用边界究竟在哪里？创作者、大公司和开发者正在陷入知识产权的罗生门……