单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
来自主题: AI技术研报
10601 点击 2024-07-10 18:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
近日，来自牛津大学的研究人员推出了利用语义熵来检测LLM幻觉的新方法。作为克服混淆的策略，语义熵建立在不确定性估计的概率工具之上，可以直接应用于基础模型，无需对架构进行任何修改。
来自佐治亚理工学院和英伟达的两名华人学者带队提出了名为RankRAG的微调框架，简化了原本需要多个模型的复杂的RAG流水线，用微调的方法交给同一个LLM完成，结果同时实现了模型在RAG任务上的性能提升。
6月，IEEE刊登了一篇对ChatGPT代码生成任务进行系统评估的论文，数据集就是程序员们最爱的LeetCode题库。研究揭示了LLM在代码任务中出现的潜在问题和能力局限，让我们能够对模型做出进一步改进，并逐渐了解使用ChatGPT写代码的最佳姿势。
市值140亿美元的初创公司Scale AI正在招聘博士训练LLM，用人成本的升高让该公司的毛利率在2023年有所下降，但创始人Alexandr Wang预计今年营收将增加两倍，突破十亿美元。
ChatGPT能耗惊人，该怎么解？谷歌DeepMind新算法JEST问世，让LLM训练的迭代次数降低13倍，计算量减少10倍，或将重塑AI未来。
基于 ChatGPT、LLAMA、Vicuna [1, 2, 3] 等大语言模型（Large Language Models，LLMs）的强大理解、生成和推理能力
OpenAI迟迟不上线GPT-4o语音助手，其它音频生成大模型成果倒是一波接着一波发布，关键还是开源的。
在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。
谷歌的Gemma 2刚刚发布，清华和北航的两名博士生就已经成功推出了指令微调版本，显著增强了Gemma 2 9B/27B模型的中文通用对话、角色扮演、数学、工具使用等能力。