关键词: 深度学习,Sutton,反向传播,模型训练,AI,AI学术

人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重，另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。

关键词: LowMemoryBP,反向传播,模型训练,微调,AI

自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段

关键词: 人工神经网络,AI,神经网络,LNDP,反向传播

生物神经网络有一个重要的特点是高度可塑性，这使得自然生物体具有卓越的适应性，并且这种能力会影响神经系统的突触强度和拓扑结构。

关键词: 微调,大模型,BP-free,反向传播,零阶优化器

开源大语言模型（LLM）百花齐放，为了让它们适应各种下游任务，微调（fine-tuning）是最广泛采用的基本方法。基于自动微分技术（auto-differentiation）的一阶优化器（SGD、Adam 等）虽然在模型微调中占据主流，然而在模型越来越大的今天，却带来越来越大的显存压力。