随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
来自主题: AI技术研报
6543 点击 2024-11-22 09:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
一位AI从业者分享的14天学习路线图，涵盖大模型从基础到高级的主要关键概念！
LLM未实现机器常识，挑战常识推理。
小米大模型第二代来了！ 相比第一代，训练数据规模更大、品质更高，训练策略与微调机制上也进行了深入打磨。
第8届CoRL于2024年11月6日至9日在德国慕尼黑举行，展示了机器人学习领域的前沿研究和发展，尤其是在自主系统、机器人控制和多模态人工智能领域。
大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
在Prompt工程领域，规划任务一直以来都是一个巨大的挑战，因为这要求大语言模型（LLMs）不仅能够理解自然语言，还能有效执行复杂推理和应对长时间跨度的操作。
近日，伊利诺伊大学香槟分校的研究团队发布了一篇开创性论文，首次从理论层面证明了大语言模型(LLM)中的prompt机制具有图灵完备性。这意味着，通过合适的prompt设计，一个固定大小的Transformer模型理论上可以计算任何可计算函数。这一突破性发现为prompt工程提供了坚实的理论基础。
让 LLM 在自我进化时也能保持对齐。
AI，LLM，模型训练，人工智能