改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果
改变LoRA的初始化方式,北大新方法PiSSA显著提升微调效果随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。 为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。
搜索
随着大模型的参数量日益增长,微调整个模型的开销逐渐变得难以接受。 为此,北京大学的研究团队提出了一种名为 PiSSA 的参数高效微调方法,在主流数据集上都超过了目前广泛使用的 LoRA 的微调效果。
谷歌又放大招了,发布下一代 Transformer 模型 Infini-Transformer。
半年来内斗剧情跌宕起伏的企业 OpenAI,再次传来人员变动的消息。
据外媒报道,OpenAI超级对齐团队的2名研究员,因泄露「机密」被正式开除
今天起,最新版的GPT-4 Turbo,正式向ChatGPT Plus用户开放了
大语言模型的效率,正在被这家「清华系」创业公司发展到新高度。
在实践中,人类预测的准确性依赖于「群体智慧」(wisdom of the crowd)效应,即通过聚集一群个体预测者,对未来事件的预测准确率会显著提高
识读距今2300多年战国时期的上古竹简,AI正在立功。 而且在这背后的“大功臣”,竟是只有2B大小的多模态大模型!
一年多来,大模型技术的进步日新月异,模型能力的上限不断抬高。但从产业变革的角度看,大模型的落地或许刚刚处于开端阶段。如何才能发挥出大模型的巨大潜力,并推动生产力更快更好地变革,仍然是一个充满探索空间的课题。
时隔七十多天,面壁在发布了MiniCPM-2B后又带来四个特性鲜明的模型,同时它还官宣了数亿元的新融资。
去年 11 月,一家名不见经传的公司 Humane 发布了一款全新概念的产品——AI Pin,并在此后数次成为科技圈讨论的热点。包括魅族在年初宣布停止传统「智能手机」项目 All in AI 的时候,还专门提到了这款新一代 AI 独立终端的开山之作。
本文来自Sangeet Paul Choudary,其以在平台经济学和网络效应方面的研究而闻名。在本文中,Choudary探讨了垂直 AI 与代理如何重塑 B2B 工作流价值链。在他看来,虽然大多数人工智能炒作都围绕水平 B2C 应用,但真正的机会在于垂直 B2B 人工智能。
日前,马斯克在与挪威央行首席执行官 Nicolai Tangen 的一次直播访谈中,说出了许多争议性言论: “我见过很多技术,AI 是我见过发展最快的技术。”
人工智能(AI)和自动化技术正在逐步改变传统招聘流程,并预计到2025年,AI将成为人 力资源管理中不可或缺的一部分
AgentLite 便是其中一个起点,专注从科学研究的角度把 Agent 以及 Multi-Agent 的开发标准统一,让学术界的奇思妙想更快迭代
36氪获悉,内容商业AIGC视频应用平台「筷子科技Kuaizi.ai」宣布完成近5000万元B1轮融资
李彦宏对大模型开源与闭源的路线选择以及AI创业者应该专注模型还是应用等业界焦点话题,发表了自己的看法
AI“复活”正从一个体验式的产品,逐渐成为一条产业链
就在刚刚,OpenAI 官方宣布,新版 GPT-4 Turbo 今天开始向所有付费 ChatGPT 用户开放
4 月 4 日,Y Combinator W2024 Batch Demo Day 正式开始。这次共亮相 260 个项目,YC 从 2.7 万份申请中筛选出来,通过率低于 1%,是历史上 YC 录取比例最低的一轮批次之一。
很荣幸受邀参与红衣大叔的第二次公开课,本次分享主题为“企业如何拥抱 AI ”,大叔对 AI 的判断鞭辟入里,许多观点非常值得学习。 于是我基于 360AI 浏览器 AI 阅读视频功能,提炼了其中的核心内容,分享于此。如果想要看完整视频,可以前往“红衣大叔周鸿祎”视频号观看直播回放。
看了下马云的内部信,有点意外的是这只是关于情绪和态度。
AI人才争夺战,正式打响!
如果说2023年是大家公认的AI元年,那么2024年很可能就是AI大模型普及的关键一年。 在这一年里,大量的AI大模型、大量的AI应用问世,Meta、Google等厂商也开始面向民众推出自己的在线/本地大模型,似乎“AI人工智能”瞬间从一个遥不可及的概念,就这么突然来到了人们身边。
相比于 AI 文字、图片,甚至是视频赛道,AI 音乐生成一直是一个关注度比较低的赛道,但是其实,创业者们很早就开始进行尝试了。
今年以来,字节跳动旗下的海外教育产品Gauth不断席卷全球市场,引人关注。 当前,Gauth在海外市场的体量已不可小觑。官方宣称目前其已有2亿用户。
2024年伊始,步入了大模型应用元年的企服市场,就已经沉淀出了诸多感悟。生成式AI解决的是产品能力和实际数据价值的匮乏,武装的是企业的手。可国内企业客户花了一笔钱要当成十笔来提需求的“重服务情结”,卡的是企服的腰腹部位。
国内AIGC赛道进入到比拼产业应用的阶段。4月11日,蚂蚁集团的“AI金融助理”支小宝2.0版本已经处于对外测试阶段。支小宝定位于理财和保险专业知识问答,同时提供行情及持仓分析、智能核保和理赔等专业工具。
据悉,今年4月15日,美年健康AI应用新产品——“健康小美”数智健管师开启内部试运行。官方消息显示,这是国内首款健康管理AI机器人。