“Transformer就像燃油车，attention-free才是新能源” | 对话RWKV创始人彭博
“Transformer就像燃油车，attention-free才是新能源” | 对话RWKV创始人彭博当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。
来自主题: AI资讯
7447 点击 2025-02-27 11:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。
在实际应用中，我们常常需要模型输出具有严格结构的数据，比如生物制药生产记录、金融交易报告或医疗健康档案等。这种结构化输出的需求在生物制造、金融服务、医疗健康等严格监管的领域尤为重要。
对齐科学的主要目标之一，是在危险行为发生之前，预测人工智能（AI）模型的危险行为倾向。
大自然的分形之美，蕴藏着宇宙的设计规则。刚刚，何恺明团队祭出「分形生成模型」，首次实现高分辨率逐像素建模，让计算效率飙升4000倍，开辟AI图像生成新范式。
尽管多模态大语言模型（MLLMs）取得了显著的进展，但现有的先进模型仍然缺乏与人类偏好的充分对齐。这一差距的存在主要是因为现有的对齐研究多集中于某些特定领域（例如减少幻觉问题），是否与人类偏好对齐可以全面提升MLLM的各种能力仍是一个未知数。
进入到 2025 年，视频生成（尤其是基于扩散模型）领域还在不断地「推陈出新」，各种文生视频、图生视频模型展现出了酷炫的效果。其中，长视频生成一直是现有视频扩散的痛点。
何恺明再次开宗立派！开辟了生成模型的全新范式——
DeepSeek 的开源周已经进行到了第三天（前两天报道见文末「相关阅读」）。今天开源的项目名叫 DeepGEMM，是一款支持密集型和专家混合（MoE）GEMM 的 FP8 GEMM 库，为 V3/R1 的训练和推理提供了支持，在 Hopper GPU 上可以达到 1350+ FP8 TFLOPS 的计算性能。
本文深入解析一项开创性研究——"Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning"，该研究通过基于规则的强化学习技术显著提升了语言模型的推理能力。微软亚洲的研究团队受DeepSeek-R1成功经验的启发，利用结构化的逻辑谜题作为训练场，为模型创建了一个可以系统学习和改进推理技能的环境。
推理黑马出世，仅以5%参数量撼动AI圈。360、北大团队研发的中等量级推理模型Tiny-R1-32B-Preview正式亮相，32B参数，能够匹敌DeepSeek-R1-671B巨兽。