关键词: Transformer,AI,LLM,模型训练

在当前 AI 领域，大语言模型采用的主流架构是 Transformer。不过，随着 RWKV、Mamba 等架构的陆续问世，出现了一个很明显的趋势：在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。

关键词: 语义路由,AI,RAG,搜索增强,LLM,模型训练

在这篇文章中，笔者将讨论以下几个问题： • 什么是语义路由 • RAG 路由的不同场景

关键词: AI,RAG,搜索增强,LLM,Query,模型训练

在这篇文章中，笔者将讨论以下几个问题： • 为什么要进行 query 理解 • query 理解有哪些技术（从 RAG 角度） • 各种 query 理解技术的实现（基于 LangChain）

关键词: AI,RAG,搜索增强,LLM,Meta AI,模型训练

『RAG 高效应用指南』系列将就如何提高 RAG 系统性能进行深入探讨，提供一系列具体的方法和建议。同时读者也需要记住，提高 RAG 系统性能是一个持续的过程，需要不断地评估、优化和迭代。

关键词: LLM,开源模型,Llama3.1,AI,模型教程,模型部署

不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。

关键词: LLM,AI,模型训练,SELF-GUIDE,微调,数据集

为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。

关键词: AI,LLM,Gemma 2 2B,小模型,Gemma 2

今年 6 月底，谷歌开源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以来，27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最高的开放模型之一，在真实对话任务中比其两倍规模以上的模型表现还要好。

关键词: AI,LLM,Gemma 2 2B,小模型,Gemma 2

谷歌DeepMind的小模型核弹来了，Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B！而同时发布的Gemma Scope，如显微镜一般打破LLM黑箱，让我们看清Gemma 2是如何决策的。

关键词: LLM,AI,AI 3D,模型训练,AI框架

近年来，针对单个物体的 Text-to-3D 方法取得了一系列突破性进展，但是从文本生成可控的、高质量的复杂多物体 3D 场景仍然面临巨大挑战。之前的方法在生成场景的复杂度、几何质量、纹理一致性、多物体交互关系、可控性和编辑性等方面均存在较大缺陷。

关键词: LLM,AI,AI编程,模型训练,AI学术

面对LLM逐渐膨胀的参数规模，没有H100的开发者和研究人员们想出了很多弥补方法，「量化」技术就是其中的一种。这篇可视化指南用各种图解，将「量化」的基本概念和分支方法进行了全方位总结。