近年来，人工智能模型的能力显著提高。其中，计算资源的增长占了人工智能性能提升的很大一部分。规模化带来的持续且可预测的提升促使人工智能实验室积极扩大训练规模，训练计算以每年约 4 倍的速度增长。
来自主题: AI资讯
5556 点击 2024-09-14 16:17
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
近年来，人工智能模型的能力显著提高。其中，计算资源的增长占了人工智能性能提升的很大一部分。规模化带来的持续且可预测的提升促使人工智能实验室积极扩大训练规模，训练计算以每年约 4 倍的速度增长。
蹭下热度谈谈 OpenAI o1 的价值意义及 RL 的 Scaling law。
近段时间，AI 编程工具 Cursor 的风头可说是一时无两，其表现卓越、性能强大。近日，Cursor 一位重要研究者参与的一篇相关论文发布了，其中提出了一种方法，可通过搜索自然语言的规划来提升 Claude 3.5 Sonnet 等 LLM 的代码生成能力。
不必增加模型参数，计算资源相同，小模型性能超过比它大14倍的模型！
大模型时代，有个大家普遍焦虑的问题：如何落地?往哪落地?
9 月 2 日，马斯克发文称，其人工智能公司 xAI 的团队上线了一台被称为「Colossus」的训练集群，总共有 100000 个英伟达的 H100 GPU。
AnyGraph聚焦于解决图数据的核心难题，跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性，通过轻量化路由机制和高效设计提升快速适应能力，且在泛化能力上符合Scaling Law。
从几周前 Sam Altman 在 X 上发布草莓照片开始，整个行业都在期待 OpenAI 发布新模型。根据 The information 的报道，Strawberry 就是之前的 Q-star，其合成数据的方法会大幅提升 LLM 的智能推理能力，尤其体现在数学解题、解字谜、代码生成等复杂推理任务。这个方法也会用在 GPT 系列的提升上，帮助 OpenAI 新一代 Orion。
本文的主要作者来自香港大学的数据智能实验室 (Data Intelligence Lab@HKU)。
为了实现算力层面的提升和追赶，国内有大量的厂商和从业者在各个产业链环节努力。但面对中短期内架构、制程、产能、出口禁令等多方面的制约，我们认为从芯片层面实现单点的突破依旧是非常困难且不足的。