关键词: Tokenizer,token,模型训练,扩散模型

在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。

关键词: Karpathy,GPT Tokenizer,token,分词器

技术大神卡帕西离职OpenAI以后，营业可谓相当积极啊。