AI资讯新闻榜单内容搜索-算法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AITNT-国内领先的一站式人工智能新闻资讯网站 搜索
搜索: 算法
从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」

从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」

从RLHF到DPO再到TDPO,大模型对齐算法已经是「token-level」

在人工智能领域的发展过程中,对大语言模型(LLM)的控制与指导始终是核心挑战之一,旨在确保这些模型既强大又安全地服务于人类社会。早期的努力集中于通过人类反馈的强化学习方法(RLHF)来管理这些模型,成效显著,标志着向更加人性化 AI 迈出的关键一步。

来自主题: AI技术研报
3579 点击    2024-06-23 19:39
让卖茶女破防的超级算法

让卖茶女破防的超级算法

让卖茶女破防的超级算法

文章讲述了彩云科技团队在改进Transformer架构方面的努力,尤其是推出的全新通用模型架构DCFormer,以及团队面临的种种挑战和突破。

来自主题: AI资讯
5306 点击    2024-06-17 09:24
KAN会引起大模型的范式转变吗?

KAN会引起大模型的范式转变吗?

KAN会引起大模型的范式转变吗?

本文介绍了KAN网络算法的原理和优势,探讨了其在深度学习领域可能引发的范式转变。 • ⚡ KAN网络将可学习的激活函数从神经元移到了神经网络的边上,表现出更高的准确性和更少的参数量 • ???? KAN在数学和物理领域的实验中展现了卓越性能,提供了一种新的科学发现的路径 • ???? KAN具有更快的神经缩放定律和可解释性,为AI领域带来了新的探索可能性

来自主题: AI技术研报
8788 点击    2024-06-05 23:28
注意!这个小球开始下山了

注意!这个小球开始下山了

注意!这个小球开始下山了

4年前的开源项目突然在Hacker News爆火,通过可视化的「小球下山」,帮助非专业和专业人士,更好地理解AI训练中梯度下降的过程。

来自主题: AI资讯
5813 点击    2024-05-23 21:16
简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024

简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024

简单通用:视觉基础网络最高3倍无损训练加速,清华EfficientTrain++入选TPAMI 2024

近年来,「scaling」是计算机视觉研究的主角之一。随着模型尺寸和训练数据规模的增大、学习算法的进步以及正则化和数据增强等技术的广泛应用,通过大规模训练得到的视觉基础网络(如 ImageNet1K/22K 上训得的 Vision Transformer、MAE、DINOv2 等)已在视觉识别、目标检测、语义分割等诸多重要视觉任务上取得了令人惊艳的性能。

来自主题: AI技术研报
8312 点击    2024-05-22 13:33
中美AI的五月剧变

中美AI的五月剧变

中美AI的五月剧变

中国和国际AI合作不断深化,特斯拉计划在中国建立数据中心,推进FSD全自动驾驶算法。 美国采取技术封锁措施,对中国等国家实施人工智能模型出口管制。

来自主题: AI资讯
2849 点击    2024-05-20 10:10
告别3D高斯Splatting算法,带神经补偿的频谱剪枝高斯场SUNDAE开源了

告别3D高斯Splatting算法,带神经补偿的频谱剪枝高斯场SUNDAE开源了

告别3D高斯Splatting算法,带神经补偿的频谱剪枝高斯场SUNDAE开源了

本论文作者包括帝国理工学院硕士生杨润一、北航二年级硕士生朱贞欣、北京理工大学二年级硕士生姜洲、北京理工大学四年级本科生叶柏均、中国科学院大学本科大三学生张逸飞、中国电信人工智能研究院多媒体认知学习实验室(EVOL Lab)负责人赵健、清华大学智能产业研究院(AIR)助理教授赵昊等。

来自主题: AI资讯
4139 点击    2024-05-15 23:44
Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。

Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。

Meta 联合纽约大学和华盛顿大学提出MetaCLIP,带你揭开CLIP的高质量数据之谜。

自2021年诞生,CLIP已在计算机视觉识别系统和生成模型上得到了广泛的应用和巨大的成功。我们相信CLIP的创新和成功来自其高质量数据(WIT400M),而非模型或者损失函数本身。虽然3年来CLIP有大量的后续研究,但并未有研究通过对CLIP进行严格的消融实验来了解数据、模型和训练的关系。

来自主题: AI技术研报
10364 点击    2024-05-02 17:54
让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述

让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述

让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述

近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略。

来自主题: AI技术研报
9022 点击    2024-04-28 15:07