AI资讯新闻榜单内容搜索-FD-loss

关键词: 模型训练,AI新闻,ImageNet,FD-loss

来自USC、CMU、CUHK和OpenAI的全华阵容研究团队，提出了一种叫FD-loss的方法，把“算统计的样本池”和“算梯度的batch”彻底解耦。依靠数万张图像组成的大容量缓存队列或指数移动平均机制，稳定完成分布估算，仅针对当下小批量数据开展梯度回传。