模型参数量只有 137M，5 天就能训练好。

一周前，OpenAI 给广大用户发放福利，在下场修复 GPT-4 变懒的问题后，还顺道上新了 5 个新模型，其中就包括更小且高效的 text-embedding-3-small 嵌入模型。

我们知道，嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使得机器学习模型和其他算法更容易理解内容之间的关联，也更容易执行聚类或检索等任务。可见，嵌入在 NLP 领域是非常重要的。

不过，OpenAI 的嵌入模型并不是免费给大家使用的，比如 text-embedding-3-small 的收费价格是每 1k tokens 0.00002 美元。

现在，比 text-embedding-3-small 更好的嵌入模型来了，并且还不收费。

AI 初创公司 Nomic AI 宣布推出 Nomic Embed，这是首个开源、开放数据、开放权重、开放训练代码、完全可复现和可审核的嵌入模型，上下文长度为 8192，在短上下文和长上下文基准测试中击败 OpenAI text-embeding-3-small 和 text-embedding-ada-002。

文本嵌入是现代 NLP 应用程序的一个组成部分，为 LLM 和语义搜索提供了检索增强生成 (RAG)。该技术将有关句子或文档的语义信息编码为低维向量，然后用于下游应用程序，例如用于数据可视化、分类和信息检索的聚类。目前，最流行的长上下文文本嵌入模型是 OpenAI 的 text-embedding-ada-002，它支持 8192 的上下文长度。不幸的是，Ada 是闭源的，并且训练数据不可审计。

不仅如此，性能最佳的开源长上下文文本嵌入模型（例如 E5-Mistral 和 jina-embeddings-v2-base-en）要么由于模型大小而不适合通用用途，要么无法超越其 OpenAI 对应模型的性能。

Nomic-embed 的发布改变了这一点。该模型的参数量只有 137M ，非常便于部署，5 天就训练好了。

论文地址：https://static.nomic.ai/reports/2024_Nomic_Embed_Text_Technical_Report.pdf

论文题目：Nomic Embed: Training a Reproducible Long Context Text Embedder

项目地址：https://github.com/nomic-ai/contrastors

如何构建 nomic-embed

现有文本编码器的主要缺点之一是受到序列长度限制，仅限于 512 个 token。为了训练更长序列的模型，首先要做的就是调整 BERT，使其能够适应长序列长度，该研究的目标序列长度为 8192。

训练上下文长度为 2048 的 BERT

该研究遵循多阶段对比学习 pipeline 来训练 nomic-embed。首先该研究进行 BERT 初始化，由于 bert-base 只能处理最多 512 个 token 的上下文长度，因此该研究决定训练自己的 2048 个 token 上下文长度的 BERT——nomic-bert-2048。

受 MosaicBERT 的启发，研究团队对 BERT 的训练流程进行了一些修改，包括：

• 使用旋转位置嵌入来允许上下文长度外推；
• 使用 SwiGLU 激活，因为它已被证明可以提高模型性能；
• 将 dropout 设置为 0。

并进行了以下训练优化：

• 使用 Deepspeed 和 FlashAttention 进行训练；
• 以 BF16 精度进行训练；
• 将词表（vocab）大小增加到 64 的倍数；
• 训练的批大小为 4096；
• 在掩码语言建模过程中，掩码率为 30%，而不是 15%；
• 不使用下一句预测目标。

训练时，该研究以最大序列长度 2048 来训练所有阶段，并在推理时采用动态 NTK 插值来扩展到 8192 序列长度。

实验

该研究在标准 GLUE 基准上评估了 nomic-bert-2048 的质量，发现它的性能与其他 BERT 模型相当，但具有显著更长的上下文长度优势。

nomic-embed 的对比训练

该研究使用 nomic-bert-2048 初始化 nomic-embed 的训练。对比数据集由约 2.35 亿文本对组成，并在收集过程中使用 Nomic Atlas 广泛验证了其质量。

在 MTEB 基准上，nomic-embed 的性能优于 text-embedding-ada-002 和 jina-embeddings-v2-base-en。

然而，MTEB 不能评估长上下文任务。因此，该研究在最近发布的 LoCo 基准以及 Jina Long Context 基准上评估了 nomic-embed。

对于 LoCo 基准，该研究按照参数类别以及评估是在监督或无监督设置中执行的分别进行评估。

如下表所示，Nomic Embed 是性能最佳的 100M 参数无监督模型。值得注意的是，Nomic Embed 可与 7B 参数类别中表现最好的模型以及专门针对 LoCo 基准在监督环境中训练的模型媲美：

在 Jina Long Context 基准上，Nomic Embed 的总体表现也优于 jina-embeddings-v2-base-en，但 Nomic Embed 在此基准测试中的表现并不优于 OpenAI ada-002 或 text-embedding-3-small：

总体而言，Nomic Embed 在 2/3 基准测试中优于 OpenAI Ada-002 和 text-embedding-3-small。

该研究表示，使用 Nomic Embed 的最佳选择是 Nomic Embedding API，获得 API 的途径如下所示：

最后是数据访问：为了访问完整数据，该研究向用户提供了 Cloudflare R2 （类似 AWS S3 的对象存储服务）访问密钥。要获得访问权限，用户需要先创建 Nomic Atlas 帐户并按照 contrastors 存储库中的说明进行操作。

contrastors 地址：https://github.com/nomic-ai/contrastors?tab=readme-ov-file#data-access

参考链接：

https://blog.nomic.ai/posts/nomic-embed-text-v1

文章来自于微信公众号 “机器之心”