何恺明刘壮新作：消除数据集偏差的十年之战
何恺明刘壮新作：消除数据集偏差的十年之战MIT新晋副教授何恺明，新作新鲜出炉：瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
来自主题: AI技术研报
4879 点击 2024-03-16 11:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
MIT新晋副教授何恺明，新作新鲜出炉：瞄准一个横亘在AI发展之路上十年之久的问题：数据集偏差。数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
「OpenAI机器人」一出世惊艳众人！最近，李飞飞团队打造了一个开源便携式手部动捕系统——DexCap，成本仅3600美元，就能让机械灵巧手完成花样任务。
TimesFM针对时序数据设计，输出序列长于输入序列，在1000亿时间点数据进行预训练后，仅用200M参数量就展现出超强零样本学习能力！
StepCoder将长序列代码生成任务分解为代码完成子任务课程来缓解强化学习探索难题，对未执行的代码段以细粒度优化；还开源了可用于强化学习训练的APPS+数据集。
虽然我从来没见过你，但是我有可能「认识」你 —— 这是人们希望人工智能在「一眼初见」下达到的状态。
今年以来，苹果显然已经加大了对生成式人工智能（GenAI）的重视和投入。此前在 2024 苹果股东大会上，苹果 CEO 蒂姆・库克表示，今年将在 GenAI 领域实现重大进展。此外，苹果宣布放弃 10 年之久的造车项目之后，一部分造车团队成员也开始转向 GenAI。
港大发布通用图基座模型OpenGraph，巧妙从LLM中蒸馏零样本图泛化能力。
LLM开源从Infra做起！Meta公布了自己训练Llama 3的H100集群细节，看来Llama 3快来了。
为了让AI更像科学家，他们将人类知识注入大模型…
3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。
数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。
2024 年，大模型领域的一个趋势越来越清晰：重视优化，面向应用。
ChatGPT横空出世的2023年，欧洲能喊得上名号的全球性AI峰会有近20个，大约是美国的3倍、中国的5倍[1]。在人工智能权威杂志（AI Magazine）年末总结的“2023 Top10 AI Events”中，欧洲承办的会议占比高达70%[2]。
新模型bGPT是一个基于字节的Transformer模型，能够将不同类型的数据纳入同一框架之下，可以生成文本、图像和音频，还能模拟计算机行为，数字世界将迎来真正的大一统？
第一步在常见 AI 作图模型输入「一只胖胖的像面包的橘猫」，画出一只长得很像面包的猫猫，然后用概念半透膜 SPM 技术，将猫猫这个概念擦掉，结果它就失去梦想变成了一只面包。上图 1 是更多的猫猫图失去猫这个概念后的结果。
在人工智能（AI）的帮助下，一种新型柔性贴片，有望帮助部分嗓音障碍患者实现有效沟通。
随着大语言模型（LLM）的发展，很多研究发现LLM能够展现出稳定的人格特质，模仿人类细微的情绪与认知模式，还能辅助各种各样的社会科学仿真实验，为教育心理学、社会心理学、文化心理学、临床心理学、心理咨询等诸多心理学研究领域，提供了新的研究思路。
大模型对齐新方法，让数学推理能力直接提升9%。
开源大语言模型宇宙又来了一个强劲对手。Transformer 作者参与创立的 Cohere 公司推出的大模型 Command-R 在可扩展、RAG和工具使用三个方面具有显著的优势。
2024 开年，OpenAI 就在生成式 AI 领域扔下了重磅炸弹：Sora。
基于大模型的Agent，已经成为了大型的博弈游戏的高级玩家，而且玩的还是德州扑克、21点这种非完美信息博弈。
来自零一万物最新研发的高性能向量数据库笛卡尔（Descartes），登顶权威测评榜单。
微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。
华人科学家程博文官宣即将入职OpenAI，加入后训练团队参与多模态模型研究。值得一提的是，他还是著名华人计算机泰斗Thomas Huang的学生。
GraphEdit方法可以有效地去除图网络中的噪声连接，还能从全局视角识别节点间的依赖关系，在不同的实验设置中都被验证为有效且稳健。
挖掘大模型固有的长文本理解能力，InfLLM在没有引入额外训练的情况下，利用一个外部记忆模块存储超长上下文信息，实现了上下文长度的扩展。
近期，来自华为诺亚方舟实验室的研究者提出了 DenseSSM，用于增强 SSM 中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中，DenseSSM 保留了对最终输出至关重要的精细信息。
3 月 11 日，零一万物宣布推出基于全导航图的新型向量数据库 「笛卡尔（Descartes）」，已包揽权威榜单 ANN-Benchmarks 6 项数据集评测第一名。
在视频理解这一领域，尽管多模态模型在短视频分析上取得了突破性进展，展现出了较强的理解能力，但当它们面对电影级别的长视频时，却显得力不从心。因而，长视频的分析与理解，特别是对于长达数小时电影内容的理解，成为了当前的一个巨大挑战。
在 ChatGPT API 中，系统提示是一项很有亮点的功能，它允许开发人员控制 LLM 输出的「角色」，包括特殊规则和限制。系统提示中的命令比用户输入提示中的命令要有效得多，这让开发人员拥有了更大的发挥空间，而不是像现在使用 ChatGPT 网页应用程序和移动应用程序那样仅仅使用用户提示。