元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升。
来自主题: AI资讯
3670 点击 2024-09-14 14:58
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升。
小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假——
本文出自启元世界多模态算法组，共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥，研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1000+ 星标。
Meta的开源大模型Llama 3在市场上遇冷，进一步加剧了大模型开源与闭源之争的关注热度。
不同类型的数据配比如何配置:先通过小规模实验确定最优配比，然后将其应用到大模型的训练中。 Token配比结论：通用知识50%；数学与逻辑25%；代码17%；多语言8%。
换了发型的扎克伯格越来越不像机器人了。 这是网友们对扎克伯格最近形象转变的普遍评价，但看顺眼的网友更多是对他旗下 Meta 公司的认可。 时间往回倒退 3 年，当时的「Facebook」或许还指望着改名转运。
开放域检测领域，迎来新进展——
又是发布即开源！ Meta“分割一切AI”二代SAM2在SIGGRAPH上刚刚亮相。
自 1974 年在科罗拉多州博尔德市首次举办以来，SIGGRAPH一直是展示计算机图形领域开创性研究的一个主要平台。
榨干16000块H100、基于15亿个Tokens训练。