随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力
随意指定CLIP关注区域！上交复旦等发布Alpha-CLIP：同时保持全图+局部检测能力本文介绍了一个名为Alph-CLIP的框架，它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后，Alpha-CLIP可以在保证CLIP原始感知能力的前提下，关注到任意指定区域。通过替换原始CLIP的应用场景，Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。
来自主题: AI资讯
7641 点击 2023-12-13 16:14
