AI资讯新闻榜单内容搜索-o

关键词: AI, post-pretrain,模型训练,AI学术,alignment,领域模型

这篇文章对如何进行领域模型训练进行一个简单的探讨，主要内容是对 post-pretrain 阶段进行分析，后续的 Alignment 阶段就先不提了，注意好老生常谈的“数据质量”和“数据多样性”即可。

关键词: Transformer,AI,Gemini,谷歌AI

被谷歌买下的AI独角兽Character.AI，已与团队深度融合。Transformer核心作者、创始人之一Noam Shazeer将担任Gemini联合技术负责人，与Jeff Dean和Oriol Vinyals平起平坐。

关键词: openai,AI,AI投资,日本AI

日本本土AI多为应用层，落地传统优势产业

关键词: Jamba,Mamba ,Transformer,AI

Jamba是第一个基于 Mamba 架构的生产级模型。Mamba 是由卡内基梅隆大学和普林斯顿大学的研究人员提出的新架构，被视为 Transformer 架构的有力挑战者。

关键词: 谷歌,AI搜索,DeepMind,Vizier

继5月的文件泄露事件后，谷歌的搜索引擎又被掀了个底朝天。不仅DeepMind发论文解释了Vizier系统的机制，博客作者Mario Fischer还对近百份文档做了彻底的调研分析，为我们还原了这个互联网巨兽的全貌。

关键词: Transformer,AI,Gemini,谷歌AI,AI人才

出任Gemini联合技术主管！

关键词: AI,神经网络,模型训练,AI学术

神经网络是一种灵活且强大的函数近似方法。而许多应用都需要学习一个相对于某种对称性不变或等变的函数。图像识别便是一个典型示例 —— 当图像发生平移时，情况不会发生变化。等变神经网络（equivariant neural network）可为学习这些不变或等变函数提供一个灵活的框架。

关键词: AI,Transformer,Gemini AI,谷歌AI

Noam Shazeer 2021 年离职谷歌，3 年后又以特殊方式重回谷歌。

关键词: MoE,多模态,腾讯混元,混元多模态

以 GPT 为代表的大型语言模型预示着数字认知空间中通用人工智能的曙光。这些模型通过处理和生成自然语言，展示了强大的理解和推理能力，已经在多个领域展现出广泛的应用前景。无论是在内容生成、自动化客服、生产力工具、AI 搜索、还是在教育和医疗等领域，大型语言模型都在不断推动技术的进步和应用的普及。

关键词: LLM,AI,GNN,蒸馏,文生图

Emory大学的研究团队提出了一种创新的方法，将大语言模型（LLM）在文本图（Text-Attributed Graph, 缩写为TAG）学习中的强大能力蒸馏到本地模型中，以应对文本图学习中的数据稀缺、隐私保护和成本问题。通过训练一个解释器模型来理解LLM的推理过程，并对学生模型进行对齐优化，在多个数据集上实现了显著的性能提升，平均提高了6.2%。