
让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述
让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略。
近期,大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略。
自动将不同开源模型进行组合,生成具有新能力的新模型,Sakana AI开发的新方法做到了!
选择了免费向医疗机构铺设心电诊断设备,通过提供诊断服务的方式,实现运营分成。36氪获悉,智能心电数据运营服务商「易智康」近日获得数百万元种子轮融资,由广东某家族企业投资。本轮融资主要用于“心电一张网”标杆项目的运营开发、AI算法及软件系统开发。当前易智康已启动新一轮融资。
被人类医生遗漏的癌症早期迹象,被AI及时发现了!这名英国女子现已康复。同时,AI算法在美国一家诊所近1/4的眼科检查中,发现了患者的视网膜病变。AI帮助人类诊病的未来,真的不远了。
哈工大联合度小满推出针对多模态模型的自适应剪枝算法 SmartTrim,论文已被自然语言处理顶级会议 COLING 24 接收。
TimesFM针对时序数据设计,输出序列长于输入序列,在1000亿时间点数据进行预训练后,仅用200M参数量就展现出超强零样本学习能力!
AI中的应用:在机器学习中,单条数据样本的表征都是以向量化的形式来完成的。向量化的方式可以帮助AI算法在迭代与计算过程中,以更高效的方式完成。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析,目前已被NeurIPS 2023录用。同时,该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。
几天前,ICLR 2024 的最终接收结果出来了。
继 2023 年 1 月 YOLOv8 正式发布一年多以后,YOLOv9 终于来了!