LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源
LLM为何频频翻车算术题？最新研究追踪单个神经元，「大脑短路」才是根源大模型在数学问题上的表现不佳，原因在于采取启发式算法进行数学运算的，通过定位到多层感知机（MLP）中的单个神经元，可以对进行数学运算的具体过程进行解释。
来自主题: AI技术研报
7107 点击 2024-11-19 19:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型在数学问题上的表现不佳，原因在于采取启发式算法进行数学运算的，通过定位到多层感知机（MLP）中的单个神经元，可以对进行数学运算的具体过程进行解释。
近期，围绕Scaling Law的讨论不绝于耳。
自我纠错（Self Correction）能力，传统上被视为人类特有的特征，正越来越多地在人工智能领域，尤其是大型语言模型（LLMs）中得到广泛应用，最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。
想象一下，使用人工智能比较两个看似毫无关联的创造——生物组织和贝多芬的《第九交响曲》。
在现代 AI 模型的快速迭代中，如何在保持模型精度的同时提升计算效率成为关键课题。尤其在大规模 AI 推理中，非结构化稀疏矩阵的计算效率低下成为难以突破的瓶颈。面对这一挑战，我们自主研发了 CROSS—— 一种创新的端到端稀疏编译优化方案，为 AI 推理带来细粒度稀疏计算的加速效果。
哈佛斯坦福MIT等机构首次提出「精度感知」scaling law，揭示了精度、参数规模、数据量之间的统一关系。数据量增加，模型对量化精度要求随之提高，这预示着AI领域低精度加速的时代即将结束！
卡内基梅隆大学提出了视频生成模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。 在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。
近日，天桥脑科学研究院正式启动了一项面向高校的合作研究基金计划，围绕人工智能长期记忆、生成式模型等前沿领域开展深入研究。
4-bit量化，能让现有反学习/机器遗忘技术失灵！
最近，Nature上的一项研究，全面驳斥了LLM具有类人推理能力的说法。研究者设定的「人类亲吻难题」把7个大模型彻底绕晕。最终研究者表示，与其说LLM是科学理论，不如说它们更接近工具，比如广义导数。