ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制
ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力,但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
搜索
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力,但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
国内大模型的能力,又来到了一个新高度!
轰轰烈烈的大模型浪潮,似乎正在进入一个煎熬期。6 月中旬,微软发布了一个出人意料的消息,他们将于 7 月份停止其推出仅三个月的 Copilot GPTs 服务。
每出现一款 AI 搜索产品,我们都会第一时间心潮澎拜地去测评去记录。但说实话,现在的 AI 搜索产品已经多到眼花缭乱了。
推特上有这么一个作者,今天早上只用了五分钟,使用了 Claude 3.5、ComfyUI、JSON 提取器等模块,搭建了个生成 meme 梗图的生成器,截止目前已经 157.3w 人看过。
面对层出不穷的个性化图像生成技术,一个新问题摆在眼前:缺乏统一标准来衡量这些生成的图片是否符合人们的喜好。对此,来自清华、西交大、伊利诺伊厄巴纳-香槟分校、中科院、旷视的研究人员共同推出了一项新基准DreamBench++。
一直以来大模型欺骗人类,早已不是什么新鲜事了。可是,最新研究竟发现,未经明确训练的LLM不仅会阿谀奉承,甚至入侵自己系统修改代码获得奖励。最恐怖的是,这种泛化的能力根本无法根除。
日本东京大学Shoji Takeuchi教授领导的研究团队利用活体人类皮肤细胞制成机器人人脸,不仅能做出微笑表情还能受伤自愈。
GPT-4o二折平替千亿国产大模型出海!刚刚,全球头部模型托管平台Fireworks AI宣布了最新消息。这是继登陆英伟达官网之后,Yi-Large再次入驻美国主流平台。
近日,LeCun和谢赛宁等大佬,共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型,同时全面开源了模型权重、代码、数据集,以及详细的指令微调和评估方法。