ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了
ICML 2024 | 脱离LoRA架构,训练参数大幅减少,新型傅立叶微调来了本文介绍了香港科技大学(广州)的一篇关于大模型高效微调(LLM PEFT Fine-tuning)的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」
搜索
本文介绍了香港科技大学(广州)的一篇关于大模型高效微调(LLM PEFT Fine-tuning)的文章「Parameter-Efficient Fine-Tuning with Discrete Fourier Transform」
最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大规模 GPU 集群)。他们认为,更强大的计算能力是实现更强大 AI 的关键。
为了将大型语言模型(LLM)与人类的价值和意图对齐,学习人类反馈至关重要,这能确保它们是有用的、诚实的和无害的。在对齐 LLM 方面,一种有效的方法是根据人类反馈的强化学习(RLHF)。尽管经典 RLHF 方法的结果很出色,但其多阶段的过程依然带来了一些优化难题,其中涉及到训练一个奖励模型,然后优化一个策略模型来最大化该奖励。
经历为期一年的实地调研,云天励飞为深圳市交通运输局献上的新春礼物,是一套从软件到硬件,再到培养新型产业工人的智能交通巡查系统。
当地时间5月22日,据外媒报道,总部位于美国加州旧金山的可穿戴设备初创公司Humane正考虑接受收购。彭博社援引消息人士称,该公司的定价在7.5亿至10亿美元之间,出售过程正处于早期阶段。
Alexandr Wang创办的Scale AI是一个为AI模型提供训练数据的数据标注平台,近期完成新一轮10亿美元融资,估值飙升至138亿美元。该公司表示将利用新资金生产丰富的前沿数据,为通向AGI铺平道路。
个人电脑原型的创造者、数字时代的「建筑师」Gordon Bell逝世,他曾提出过计算机系统领域的Bell定律,当选为美国国家工程院院士和科学院院士,获得过IEEE约翰·冯·诺依曼奖章,ACM在并行计算领域的Gordon Bell Prize就是由他赞助成立的。
央企通信巨头再次奏响大模型舞台的超强音!刚刚结束的中国移动人工智能生态大会主旨论坛上,中国移动发布了全自研「九天」千亿多模态基座大模型,一举成为国内最值得信赖、最懂行业的全栈大模型。
5月22号,百川智能正式发布了Baichuan 4大模型,并推出成立之后的首款AI搜索助手“百小应”。
一览Beyond Expo 2024上的有趣发现。
甲方要求我一边配音,一边自拍,以此证明我是真人。
到底是什么割裂了厂商和消费者?
马斯克在VivaTech大会上称:只有我能做好AI。
鹅厂搞了个150多人的“翻译公司”,从老板到员工都是AI智能体! 主营业务是翻译网络小说,质量极高,参与评价的读者认为比真人翻译得还要好。 而且相比于雇佣真人,用它来翻译文学作品,成本降低了近80倍。
国产大模型最新进展,这次来自“国家队”! 刚刚,全栈国产化生态大模型“九天智能基座”正式发布! 它由中国移动自研。包括万卡算力、千亿模型及百汇平台三部分。 其中模型部分是九天自主研发的从算子到框架全栈国产训练的千亿参数大模型,能力达到GPT-4的90%水平。
几十年来,核聚变释放能量的「精妙」过程一直吸引着科学家们的研究兴趣。 现在,在普林斯顿等离子体物理实验室(PPPL)中 ,科学家正借助人工智能,来解决人类面临的紧迫挑战:通过聚变等离子体产生清洁、可靠的能源。 与传统的计算机代码不同,机器学习不仅仅是指令列表,它可以分析数据、推断特征之间的关系、从新知识中学习并适应。
第一个以「泛化」能力为核心设计原则的可学习图像匹配器来了!
本文由GreenBit.AI团队撰写,团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展,倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案,使人工智能技术在环境和社会层面产生积极影响。
既能像 Transformer 一样并行训练,推理时内存需求又不随 token 数线性递增,长上下文又有新思路了?
大模型公司洗牌期开始了。 突然之间,几家明星初创纷纷传出消息,寻求收购。都是大家熟悉的名字、过往战绩也都不错:Adept,估值超10亿美元,由Transformer作者创立;Humane,估值7.5-10亿美元,打造出爆火AI新硬件AI Pin;Stability AI,Stable Diffusion打造者,最早一批AI独角兽。
谷歌 AI「满嘴跑火车」被声讨,技术人员争分夺秒来「灭火」。
一直以来 AI 都是一个黑盒子(black box),其内部运作机制是不可见的。人们输入数据并得到结果,但无法检查输出结果的逻辑或者系统的代码。 而就在刚刚,Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
迪士尼通过引入人工智能技术,逐步改造娱乐业,并在乐园、影视制作等方面取得了一系列进展。 • ✨ 迪士尼乐园利用AI提供实时度假规划助手和交互式机器人,提升游客体验 • ???? 迪士尼影视制作部门通过AI监控观众情绪、提高试映实用性,以及实现人脸年龄调整等特效 • ???? 迪士尼积极投资人工智能领域新兴公司,推动AI技术在娱乐业的广泛应用
5月16日,在近期备受瞩目的OpenAI和Google大战话题之下,我们邀请到了潞晨科技创始人尤洋、Zilliz技术合伙人栾小凡、51CTO内容中心主编薛彦泽、硅星人/品玩创始人&CEO骆轶航、硅星人/品玩内容中心负责人王兆洋作为嘉宾分享他们的观点和新洞察。
越来越多的生成AI公司考虑加入出售的行列
谷歌AI又闯大祸!
GPT-4o桌面端最新Demo,与Sora的新作品一同亮相“欧洲AI春晚”VivaTech。
AIGC浪潮之下,一个现实情况逐渐浮出水面:
为什么是时候换一台AI PC了?
人工智能并不只想「人工」,它也想搞搞艺术。