港大马毅团队等开源新作：用编码率正则化重构视觉自监督学习范式，“少即是多”
港大马毅团队等开源新作：用编码率正则化重构视觉自监督学习范式，“少即是多”最新开源的视觉预训练方法，马毅团队、微软研究院、UC伯克利等联合出品！
来自主题: AI技术研报
4890 点击 2025-03-09 10:54
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
最新开源的视觉预训练方法，马毅团队、微软研究院、UC伯克利等联合出品！
生物学大模型又迎新里程碑！2025 年 2 月 19 日，来自 Arc Institute、英伟达、斯坦福大学、加州大学伯克利分校和加州大学旧金山分校的科学家们，联合发布了生物学大模型 Evo2。
近日，斯坦福、UC伯克利等多机构联手发布了开源推理新SOTA——OpenThinker-32B，性能直逼DeepSeek-R1-32B。其成功秘诀在于数据规模化、严格验证和模型扩展。
只用4500美元成本，就能成功复现DeepSeek？就在刚刚，UC伯克利团队只用简单的RL微调，就训出了DeepScaleR-1.5B-Preview，15亿参数模型直接吊打o1-preview，震撼业内。
基于一段文本提问时，人类和大模型会基于截然不同的思维模式给出问题。大模型喜欢那些需要详细解释才能回答的问题，而人类倾向于提出更直接、基于事实的问题。
研究人员首次探讨了大型语言模型（LLMs）在问题生成任务中的表现，与人类生成的问题进行了多维度对比，结果发现LLMs倾向于生成需要较长描述性答案的问题，且在问题生成中对上下文的关注更均衡。
就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！全球AI大模型，或许正在进入下一分水岭。
研究者提出了FAST，一种高效的动作Tokenizer。通过结合离散余弦变换（DCT）和字节对编码（BPE），FAST显著缩短了训练时间，并且能高效地学习和执行复杂任务，标志着机器人自回归Transformer训练的一个重要突破。
o1背后的推理原理，斯坦福和伯克利帮我们总结好了！
450 美元的价格，乍一听起来不算「小数目」。但如果，这是一个 32B 推理模型的全部训练成本呢？