Scaling Laws终结，量化无用，AI大佬都在审视这篇论文
Scaling Laws终结，量化无用，AI大佬都在审视这篇论文最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
来自主题: AI技术研报
3802 点击 2024-11-13 13:41
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明了大模型量化的方向。
研究人员通过案例研究，利用大型语言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思维链（CoT）提示在解码移位密码任务中的表现；CoT提示虽然提升了模型的推理能力，但这种能力并非纯粹的符号推理，而是结合了记忆和概率推理的复杂过程。
昨天，The Information 的一篇文章让 AI 社区炸了锅。
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
去年以来，包括纽约时报、Raw Story、The Intercept和AlterNet等在内的多家机构，针对ChatGPT所属的公司OpenAI提起诉讼，指控ChatGPT非法使用了新闻网站文章用于训练。近日，纽约联邦法官驳回了Raw Story和Alternet对OpenAI聊天机器人的训练数据提起的版权诉讼。
【新智元导读】刚刚，一款专为消费级显卡设计的全新非自回归掩码图像建模的文本到图像生成模型——Meissonic发布，标志着图像生成即将进入「端侧时代」。
Ilya终于承认，自己关于Scaling的说法错了！现在训练模型已经不是「越大越好」，而是找出Scaling的对象究竟应该是什么。他自曝，SSI在用全新方法扩展预训练。而各方巨头改变训练范式后，英伟达GPU的垄断地位或许也要打破了。
o1不是通向大模型推理的唯一路径！ MIT的新研究发现，在测试时对大模型进行训练，可以让推理水平大幅提升。
现在，用LLM一键就能生成百万级领域知识图谱了？！ 来自中科大MIRA实验室研究人员提出一种通用的自动化知识图谱构建新框架SAC-KG
上海大学本科生研发的新框架能有效应对知识图谱补全中的灾难性遗忘和少样本学习难题，提升模型在动态环境和数据稀缺场景下的应用能力。这项研究不仅推动了领域发展，也为实际应用提供了宝贵参考。