
用好视觉Attention局部性,清华、字节提出Token Reorder,无损实现5倍稀疏、4比特量化
用好视觉Attention局部性,清华、字节提出Token Reorder,无损实现5倍稀疏、4比特量化近年来,随着视觉生成模型的发展,视觉生成任务的输入序列长度逐渐增长(高分辨率生成,视频多帧生成,可达到 10K-100K)。
近年来,随着视觉生成模型的发展,视觉生成任务的输入序列长度逐渐增长(高分辨率生成,视频多帧生成,可达到 10K-100K)。
《新智核》独家获悉,字节旗下Seed团队将招募多个机器人相关业务的一号位,包括机器人产品负责人、机器人工程技术负责人,以及具身智能大模型负责人。这一系列动作表明,Seed在机器人及具身智能领域加速布局的决心。
近年来,diffusion Transformers已经成为了现代视觉生成模型的主干网络。随着数据量和任务复杂度的进一步增加,diffusion Transformers的规模也在快速增长。然而在模型进一步扩大的过程中,如何调得较好的超参(如学习率)已经成为了一个巨大的问题,阻碍了大规模diffusion Transformers释放其全部的潜能。
每到正月十五那天,我总会想起我朋友的姥爷踏上修仙之途,凝结金丹的事。
根据申妈朋友圈,字节跳动发布了新一期廉政通报,披露了一起涉及 Seed 团队高层的严重违规事件。据报道,Seed 大语言模型负责人乔木与其团队所配属的一名 HRBP 在未履行申报流程的情况下,发展成为亲密关系。
《读佳》获悉,字节的UserGrowth(用户增长团队)做了一个名为”探饭“的AI产品,搭载的是豆包大模型。
在当今科技飞速发展的时代,机器人在各个领域的应用越来越广泛,从工业生产到日常生活,都能看到它们的身影。然而,现代机器人导航系统在多样化和复杂的室内环境中面临着诸多挑战,传统方法的局限性愈发明显。
短短3天时间,字节技术副总裁就借助AI原生IDE——TRAE,打造并开源了一款英语学习应用「积流成江」。其中,约85%代码都是通过自然语言生成的。
DataEye研究院发现,日前,字节旗下剪映团队推出了一款全新AI应用——小云雀,该应用定位为“内容创作Agent”,包含了智能成片、AI设计等4大功能,用户只需输入文字指令,一句话便可以利用AI自动生成短视频、数字人口播、海报等,主打“创作零门槛”。
为此,香港中文大学、字节跳动Seed和斯坦福大学研究团队出手,提出了一种面向同声传译的序贯策略优化框架 (Sequential Policy Optimization for Simultaneous Machine Translation, SeqPO-SiMT)。