ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制
ICML 2024 | 揭示非线形Transformer在上下文学习中学习和泛化的机制上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力,但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
搜索
上下文学习 (in-context learning, 简写为 ICL) 已经在很多 LLM 有关的应用中展现了强大的能力,但是对其理论的分析仍然比较有限。人们依然试图理解为什么基于 Transformer 架构的 LLM 可以展现出 ICL 的能力。
DiT 都能用,生成视频无质量损失,也不需要训练。
国内大模型的能力,又来到了一个新高度!
轰轰烈烈的大模型浪潮,似乎正在进入一个煎熬期。6 月中旬,微软发布了一个出人意料的消息,他们将于 7 月份停止其推出仅三个月的 Copilot GPTs 服务。
每出现一款 AI 搜索产品,我们都会第一时间心潮澎拜地去测评去记录。但说实话,现在的 AI 搜索产品已经多到眼花缭乱了。
处理单张切片用时不到30秒,「透彻未来」推进AI病理诊断与数智化转型。
推特上有这么一个作者,今天早上只用了五分钟,使用了 Claude 3.5、ComfyUI、JSON 提取器等模块,搭建了个生成 meme 梗图的生成器,截止目前已经 157.3w 人看过。
AI重塑钉钉的刀,终于来到了搜索上。
面对层出不穷的个性化图像生成技术,一个新问题摆在眼前:缺乏统一标准来衡量这些生成的图片是否符合人们的喜好。对此,来自清华、西交大、伊利诺伊厄巴纳-香槟分校、中科院、旷视的研究人员共同推出了一项新基准DreamBench++。
大模型趋势的风向,开始变了。
一直以来大模型欺骗人类,早已不是什么新鲜事了。可是,最新研究竟发现,未经明确训练的LLM不仅会阿谀奉承,甚至入侵自己系统修改代码获得奖励。最恐怖的是,这种泛化的能力根本无法根除。
日本东京大学Shoji Takeuchi教授领导的研究团队利用活体人类皮肤细胞制成机器人人脸,不仅能做出微笑表情还能受伤自愈。
真实的大学考试,已经被AI渗透了!英国雷丁大学的一项研究发现,在大学考试中,有94%的AI生成内容完全没有被老师发现。也就是说,如果学生真的有心用GPT-4作弊,大概率会获得好成绩,而且很难被发现。
GPT-4o二折平替千亿国产大模型出海!刚刚,全球头部模型托管平台Fireworks AI宣布了最新消息。这是继登陆英伟达官网之后,Yi-Large再次入驻美国主流平台。
近日,LeCun和谢赛宁等大佬,共同提出了这一种全新的SOTA MLLM——Cambrian-1。开创了以视觉为中心的方法来设计多模态模型,同时全面开源了模型权重、代码、数据集,以及详细的指令微调和评估方法。
就在国内还在大谈特谈AI Agent的时候,国外技术圈的风向变了。他们不再谈论AI Agent如何如何,而是转头开始交流Agentic AI。
此前Stability AI曾陷入债务危机,经营亏损,多位高层人员流失。
苹果始终不会把鸡蛋放一个篮子里。
AI是抖快下一个贴身肉搏的战场
数字烹饪时代的创新者和引领者。
从6月23日开始,多地开始陆续公布高考分数,今年参加高考的小伙伴应该都查询到自己的成绩了吧。随着高考分数的陆续公布,考生又将面临下一个关键挑战——志愿填报。
最近,OpenAI首席技术官Mira Murati回到母校参加访谈,一句话惹了众怒。一些创造性的工作可能会消失,但也许它们本就不该存在。
找到应用场景之前,人形机器人商业化还要再等一等。
它们因何而死?
顶着“AI+制造第一股”的头衔、创新教父李开复担任董事长、众多科技界强人加盟,如此多的光环加持,创新奇智却把一手好牌打得稀烂。
Ray-Ban Meta智能眼镜销量超预期。
半夜有人跑你被窝里薅你头发是什么体验?这几天搞AI应用开发的程序员应该经历了一回: OpenAI“断供”了。
AI引领出行变革,智慧交通乘风而上,低空经济扬帆启航
断供中国,落实起来仍有难度。