小米大模型第二代来了！ 相比第一代，训练数据规模更大、品质更高，训练策略与微调机制上也进行了深入打磨。
来自主题: AI技术研报
3514 点击 2024-11-13 09:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
小米大模型第二代来了！ 相比第一代，训练数据规模更大、品质更高，训练策略与微调机制上也进行了深入打磨。
第8届CoRL于2024年11月6日至9日在德国慕尼黑举行，展示了机器人学习领域的前沿研究和发展，尤其是在自主系统、机器人控制和多模态人工智能领域。
大模型的记忆限制被打破了，变相实现“无限长”上下文。最新成果，来自清华、厦大等联合提出的LLMxMapReduce长本文分帧处理技术。
在Prompt工程领域，规划任务一直以来都是一个巨大的挑战，因为这要求大语言模型（LLMs）不仅能够理解自然语言，还能有效执行复杂推理和应对长时间跨度的操作。
近日，伊利诺伊大学香槟分校的研究团队发布了一篇开创性论文，首次从理论层面证明了大语言模型(LLM)中的prompt机制具有图灵完备性。这意味着，通过合适的prompt设计，一个固定大小的Transformer模型理论上可以计算任何可计算函数。这一突破性发现为prompt工程提供了坚实的理论基础。
让 LLM 在自我进化时也能保持对齐。
AI，LLM，模型训练，人工智能
改进KV缓存压缩，大模型推理显存瓶颈迎来新突破—— 中科大研究团队提出Ada-KV，通过自适应预算分配算法来优化KV缓存的驱逐过程，以提高推理效率。
大型语言模型在学习概念时竟然会形成令人惊讶的几何结构，比如代码和数学特征会形成一个「叶（lobe）」，类似于我们在做磁共振功能成像时看到的大脑功能性脑叶。这说明什么呢？
文章详细讨论了如何确保大型语言模型（LLMs）输出结构化的JSON格式，这对于提高数据处理的自动化程度和系统的互操作性至关重要。