新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。
来自主题: AI技术研报
6805 点击 2024-11-21 13:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。
自从 Sora 横空出世，业界便掀起了一场「视频生成模型到底懂不懂物理规律」的争论。图灵奖得主 Yann LeCun 明确表示，基于文本提示生成的逼真视频并不代表模型真正理解了物理世界。之后更是直言，像 Sora 这样通过生成像素来建模世界的方式注定要失败。
字节跳动豆包大模型团队于近日提出超连接（Hyper-Connections），一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。
解决真实GitHub Issue的基准测试，字节家的豆包MarsCode Agent悄悄登顶了。SWE-Bench，一个由普林斯顿大学提出的极具挑战性的Benchmark，近期受到工业界、学术界和创业团队的广泛关注。
强化学习（RL）对大模型复杂推理能力提升有关键作用，然而，RL 复杂的计算流程以及现有系统局限性，也给训练和部署带来了挑战。
AI营销大战还能怎么卷？ 今年上半年，AI营销大战打得轰轰烈烈。
最近忽然很想玩小游戏。 不用多复杂，最基础的扫雷、空当接龙就行。 奈何电脑是os系统，不能一键转换到“摸鱼”小游戏模式，我斗胆问了下大模型，能否一键帮我生成。 别说，还都应了我。
大模型的秋天静悄悄
9月 24 日，字节跳动的豆包大模型发布多款新品——视频生成、音乐生成以及同声传译大模型。
字节曲折的硬件之路。