AI资讯新闻榜单内容搜索-LLM

关键词: AI,提示词,Prompt,CO-STAR,LLM

新加坡举办了首届GPT-4提示工程竞赛，Sheila Teo取得了冠军，我们来学习借鉴她采用的三项提示技巧： 使用CO-STAR框架构建提示词 2.使用分隔符将提示词分段 3.使用LLM系统提示

关键词: LLM,AI,模型训练,SAE,稀疏自编码器

简而言之：矩阵 → ReLU 激活 → 矩阵

关键词: Transformer,AI,LLM,模型训练

在当前 AI 领域，大语言模型采用的主流架构是 Transformer。不过，随着 RWKV、Mamba 等架构的陆续问世，出现了一个很明显的趋势：在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。

关键词: 语义路由,AI,RAG,搜索增强,LLM,模型训练

在这篇文章中，笔者将讨论以下几个问题： • 什么是语义路由 • RAG 路由的不同场景

关键词: AI,RAG,搜索增强,LLM,Query,模型训练

在这篇文章中，笔者将讨论以下几个问题： • 为什么要进行 query 理解 • query 理解有哪些技术（从 RAG 角度） • 各种 query 理解技术的实现（基于 LangChain）

关键词: AI,RAG,搜索增强,LLM,Meta AI,模型训练

『RAG 高效应用指南』系列将就如何提高 RAG 系统性能进行深入探讨，提供一系列具体的方法和建议。同时读者也需要记住，提高 RAG 系统性能是一个持续的过程，需要不断地评估、优化和迭代。

关键词: LLM,开源模型,Llama3.1,AI,模型教程,模型部署

不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。

关键词: LLM,AI,模型训练,SELF-GUIDE,微调,数据集

为了解决这个问题，一些研究尝试通过强大的 Teacher Model 生成训练数据，来增强 Student Model 在特定任务上的性能。然而，这种方法在成本、可扩展性和法律合规性方面仍面临诸多挑战。在无法持续获得高质量人类监督信号的情况下，如何持续迭代模型的能力，成为了亟待解决的问题。

关键词: AI,LLM,Gemma 2 2B,小模型,Gemma 2

今年 6 月底，谷歌开源了 9B、27B 版 Gemma 2 模型系列，并且自亮相以来，27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最高的开放模型之一，在真实对话任务中比其两倍规模以上的模型表现还要好。

关键词: AI,LLM,Gemma 2 2B,小模型,Gemma 2

谷歌DeepMind的小模型核弹来了，Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B！而同时发布的Gemma Scope，如显微镜一般打破LLM黑箱，让我们看清Gemma 2是如何决策的。