Tokenization，再见！Meta提出大概念模型LCM，1B模型干翻70B？
Tokenization，再见！Meta提出大概念模型LCM，1B模型干翻70B？Meta提出大概念模型，抛弃token，采用更高级别的「概念」在句子嵌入空间上建模，彻底摆脱语言和模态对模型的制约。
来自主题: AI技术研报
9391 点击 2025-01-07 18:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Meta提出大概念模型，抛弃token，采用更高级别的「概念」在句子嵌入空间上建模，彻底摆脱语言和模态对模型的制约。
流媒体平台爱奇艺已向上海市徐汇区人民法院正式提起诉讼，指控国内AI初创企业MiniMax在AI模型训练及内容生成流程中，涉嫌侵犯其版权，导致生成的内容构成了对爱奇艺版权的侵犯。
随着图像编辑工具和图像生成技术的快速发展，图像处理变得非常方便。然而图像在经过处理后不可避免的会留下伪影（操作痕迹），这些伪影可分为语义和非语义特征。
OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力，在基于模仿学习的Scaling Law逐渐受到质疑的今天，基于探索的强化学习有望带来新的Scaling Law。
2020年2月，数据标注员作为人工智能训练师的一个工种，被正式纳入国家职业分类目录。短短几年，这个劳动力需求量巨大的行业，迅速在一些中小城市落地生根。
OpenAI o1和o3模型的秘密，竟传出被中国研究者「破解」？今天，复旦等机构的这篇论文引起了AI社区的强烈反响，他们从强化学习的角度，分析了实现o1的路线图，并总结了现有的「开源版o1」。
在人工智能领域，具有挑战性的模拟环境对于推动多智能体强化学习（MARL）领域的发展至关重要。在合作式多智能体强化学习环境中，大多数算法均通过星际争霸多智能体挑战（SMAC）作为实验环境来验证算法的收敛和样本利用率。
当你用正确的方式优化模型，给模型指明正确的方向，无论什么问题，它们都会倾尽全力去学习，去解决问题。如果你的愿景足够吸引人，如果你能创建一个人们愿意加入的公司，一个实践合理做法的组织，同时还能在生态系统中保持其地位，那么其他人会效仿你。尤其当你做得比他们更好时，他们会被迫改变行为，这种影响比你作为下属去和他们争论要更具说服力。
微调大模型的数据隐私可能泄露？ 最近华科和清华的研究团队联合提出了一种成员推理攻击方法，能够有效地利用大模型强大的生成能力，通过自校正机制来检测给定文本是否属于大模型的微调数据集。
2023 年初，Jason Wei 加入了 OpenAI，参与了 ChatGPT 的构建以及 o1 等重大项目。他的工作使思维链提示、指令微调和涌现现象等技术和概念变得广为人知。