MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路
MoE再下一城!港大提出AnyGraph:首次开启「图大模型」Scaling Law之路AnyGraph聚焦于解决图数据的核心难题,跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性,通过轻量化路由机制和高效设计提升快速适应能力,且在泛化能力上符合Scaling Law。
来自主题: AI技术研报
7818 点击 2024-09-02 16:35
AnyGraph聚焦于解决图数据的核心难题,跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结构和特征异质性,通过轻量化路由机制和高效设计提升快速适应能力,且在泛化能力上符合Scaling Law。
本文的主要作者来自香港大学的数据智能实验室 (Data Intelligence Lab@HKU)。
七年前,一张帅气军装照的H5活动,成为现象级刷屏朋友圈的“始祖”。
文生图模型成熟之后,有多少人苦练Midjourney咒语,还是调不出可用的图像?
又一家大模型开源了,这次是腾讯。
图学习领域的数据饥荒问题,又有能缓解的新花活了!
两个月前,包括网易有道,蚂蚁集团、知乎、美团在内的11家公司,其大模型产品作为第二批次通过了官方备案,陆续官宣向社会开放服务、推出产品。