
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能大型语言模型(LLMs)虽然在适应新任务方面取得了长足进步,但它们仍面临着巨大的计算资源消耗,尤其在复杂领域的表现往往不尽如人意。
大型语言模型(LLMs)虽然在适应新任务方面取得了长足进步,但它们仍面临着巨大的计算资源消耗,尤其在复杂领域的表现往往不尽如人意。
苹果研究者发现:无论是OpenAI GPT-4o和o1,还是Llama、Phi、Gemma和Mistral等开源模型,都未被发现任何形式推理的证据,而更像是复杂的模式匹配器。无独有偶,一项多位数乘法的研究也被抛出来,越来越多的证据证实:LLM不会推理!
7 年前,谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年,谷歌又发布了 Universal Transformer(UT)。它的核心特征是通过跨层共享参数来实现深度循环,从而重新引入了 RNN 具有的循环表达能力。
Mistral AI盈利路径不明确,但其边缘AI模型性能超谷歌、Meta。
OpenAI o1 的发布,再次给 AI 领域带来了一场地震。 o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。
精子和卵子结合第一瞬间,会发生什么?AlphaFold竟揭晓了答案。它成功预测出,三种精子蛋白质相互作用的复合物,成为生命孕育的关键所在。
如何全模态大模型与人类的意图相对齐,已成为一个极具前瞻性且至关重要的挑战。
AI 在改变获取信息的方式 Google,硅谷的代言人,AI 界的巨擘,技术牛,论文多,做给消费者用的 AI 产品,却几乎没有出圈的。 不过,也有一个例外:NotebookLM,甚至连死对头 Sam Altman 也觉得它很酷。
Meta版o1也来了。 田渊栋团队带来新作Dualformer,把快慢思考无缝结合,性能提升还成本更低。 能解决迷宫、推箱子等复杂问题。
人工智能初创公司 Mistral 发布了其首个旨在运行在边缘设备上的生成式人工智能模型,如笔记本电脑和手机。