CoT提出者Jason Wei：大模型评估基准的「七宗罪」
CoT提出者Jason Wei：大模型评估基准的「七宗罪」Jason Wei 是思维链提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 进行工作。
来自主题: AI资讯
9668 点击 2024-05-27 16:18
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Jason Wei 是思维链提出者，并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 进行工作。
一直以来 AI 都是一个黑盒子（black box），其内部运作机制是不可见的。人们输入数据并得到结果，但无法检查输出结果的逻辑或者系统的代码。 而就在刚刚，Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
在 AI 领域，扩展定律（Scaling laws）是理解 LM 扩展趋势的强大工具，其为广大研究者提供了一个准则，该定律在理解语言模型的性能如何随规模变化提供了一个重要指导。
红极一时的思维链技术，可能要被推翻了！
近年来，大语言模型（LLMs）由于其通用的问题处理能力而引起了大量的关注。现有研究表明，适当的提示设计（prompt enginerring），例如思维链（Chain-of-Thoughts），可以解锁 LLM 在不同领域的强大能力。
思维链作者、从谷歌跳槽OpenAI的Jason Wei前脚刚自曝996作息表，国内的“卷王”们就按耐不住了。
谷歌&南加大推出最新研究“自我发现”（Self-Discover），重新定义了大模型推理范式。与已成行业标准的思维链（CoT）相比，新方法不仅让模型在面对复杂任务时表现更佳，还把同等效果下的推理成本压缩至1/40。
本文对思维链的推理步长进行了控制变量实验，发现推理步长和答案的准确性是线性相关的，这种影响机制甚至超越了问题本身所产生的差异。
仅需一个任务描述，即可一键分割所有图片！
若愚科技与哈工深联合研发了语言大模型基座---立知和多模态大模型基座---九天，总参数规模达130亿，训练数据超1500B tokens, 能完成多任务、多轮对话、中英翻译、思维链、工具使用等多种类型的指令数据