第一个100%开源的MoE大模型，7B的参数，1B的推理成本
第一个100%开源的MoE大模型，7B的参数，1B的推理成本训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
来自主题: AI技术研报
8492 点击 2024-09-05 22:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。
训练数据的质量优劣，直接影响人工智能（AI）大模型的能力水平。
基于公司私有组件生成代码，这个问题的本质是：由于大模型的训练数据集不包含你公司的私有组件数据，因此不能够生成符合公司私有组件库的代码。
反垄断案败诉，谷歌或将面临「分家」，一旦与Chrome和安卓操作系统解绑，谷歌该何去何从？
人工智能系统依靠充足、高质量的训练数据来获得高性能，但MIT等机构最近的一项研究发现，曾经免费提供的数据在多个方面变得越来越难获取。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。
为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。
训练数据是用 GPT-4o 生成的？那质量不好说了。
近日，《连线》杂志联合ProofNews联合发表一篇调查文章，指责苹果、Anthropic等科技巨头未经许可使用YouTube视频训练AI模型。但训练数据的使用边界究竟在哪里？创作者、大公司和开发者正在陷入知识产权的罗生门……
生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过，最新的研究突破了这一限制，表明在特定领域，如国际象棋，通过采用低温采样技术，这些模型能够超越它们所学习的那些专家，展现出更高的能力。