wxya（个人网站）多模态数据 ｜
简介
- 图片数据Embedding入库。将牧歌数据集通过中文CLIP模型Embedding接口转化为高维向量，然后写入DashVector向量检索服务。
- 文本Query检索。使用对应的中文CLIP模型获取文本的Embedding向量，然后通过DashVector检索相似图片。
检索召回
多模态表征
‣
‣
OpenClip
‣
‣
在向量数据中存储多模态数据，通过文字搜索图片，Chroma 支持文字和图片，通过 OpenClip 模型对文字以及图片做 Embedding。本文通过 Chroma 实现一个文字搜索图片的功能。
CLIP（Contrastive Language-Image Pretraining，对比语言-图像预训练）是由OpenAI开发的一种模型，它结合了自然语言处理（NLP）和计算机视觉（CV）来理解和关联文本和视觉数据。CLIP旨在从大量的互联网数据中学习，并能够执行各种任务，例如零样本图像分类、图像到文本搜索和文本到图像搜索，而无需特定任务的数据集。CLIP 有以下特性
- 对比学习：CLIP使用对比学习方法，模型通过区分匹配和不匹配的图像和文本对进行训练。这意味着它学习将图像与其对应的文本描述对齐，并区分不相关的对。
- 双分支架构：CLIP包含两个分支：一个用于处理图像，另一个用于处理文本。这些分支通常基于深度学习架构，例如用于图像的Vision Transformers（ViT）或ResNet，用于文本的基于Transformer的模型（如GPT）。
- 联合嵌入空间：模型将图像和文本投影到共享的嵌入空间中。在训练过程中，它最大化匹配图像-文本对的嵌入相似性，最小化不匹配对的嵌入相似性。
- 零样本学习：CLIP的一个重要优势是其零样本学习能力。这意味着它可以通过利用类别的文本描述来对在训练中未见过的类别的图像进行分类。
OpenClip 是 Open AI CLIP 的开源实现。
ModelScope
‣
‣
multimodal_embedding_one_peace_v1
‣
本项目为CLIP模型的中文版本，使用大规模中文数据进行训练（~2亿图文对），可用于图文检索和图像、文本的表征提取，应用于搜索、推荐等应用场景。 更多技术细节可以参考我们的技术报告和Github开源代码。
CLIP模型是来自OpenAI的经典图文表征模型，其采用双塔模型结构（如下图），利用大规模图文对平行语料进行对比学习，从而能够实现图片和文本的跨模态语义特征抽取。
原始的CLIP模型基于英文图文语料，不能用于中文的图文表征提取场景。本项目以英文CLIP视觉侧参数和中文Roberta参数，作为模型初始化值。 基于大规模原生中文图文数据，通过如下图所示的二阶段预训练策略（一阶段仅训练文本侧，二阶段同时训练），实现了CLIP模型的中文化版本。未来将在此持续更新。
Loading...