AI资讯新闻榜单内容搜索-反向传播

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: 反向传播
深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature

深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature

深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature

人工神经网络、深度学习方法和反向传播算法构成了现代机器学习和人工智能的基础。但现有方法往往是一个阶段更新网络权重,另一个阶段在使用或评估网络时权重保持不变。这与许多需要持续学习的应用程序形成鲜明对比。

来自主题: AI技术研报
7607 点击    2024-08-29 17:01
像生物网络一样「生长」,具备「结构可塑性」的自组织神经网络来了

像生物网络一样「生长」,具备「结构可塑性」的自组织神经网络来了

像生物网络一样「生长」,具备「结构可塑性」的自组织神经网络来了

生物神经网络有一个重要的特点是高度可塑性,这使得自然生物体具有卓越的适应性,并且这种能力会影响神经系统的突触强度和拓扑结构。

来自主题: AI技术研报
7389 点击    2024-07-09 17:15
ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

开源大语言模型(LLM)百花齐放,为了让它们适应各种下游任务,微调(fine-tuning)是最广泛采用的基本方法。基于自动微分技术(auto-differentiation)的一阶优化器(SGD、Adam 等)虽然在模型微调中占据主流,然而在模型越来越大的今天,却带来越来越大的显存压力。

来自主题: AI技术研报
9569 点击    2024-07-04 13:35