wxya（个人网站）vectorDB
转向量存储，然后转向量查询
‣
向量数据库 Viking DB 基于火山引擎的云基础设施搭建，整合了经过深度打磨和优化的各种引擎层能力。在产品能力上提供了从文本生成向量，到数据集管理、索引管理、数据检索，以及上线后服务弹性调度和监控告警的全链路服务。最终应用在智能问答、智能搜索、推荐系统和数据去重等产品中，可广泛应用于LLM支持的智能客服、领域知识问答，文本检索、AIGC跨模态检索、结构化混合检索，相似推荐、相关推荐、相似检测和去重，相关排序、打散排序、聚类分析和数据挖掘等场景。
Viking DB 产品能力模块详细介绍如下：
- 文本生成向量：非结构化数据文本写入之后，向量数据库通过深度学习神经网络提取文本数据里的内容和语义，把文本转换成特征向量后自动写入向量数据库，支持后续的检索和分析。
- 数据集管理：数据集是向量数据库原始数据的存储载体，通过创建数据集，将多个业务的向量数据存储到不同数据集中实现存储和管理的目的。数据集支持数据实时写入和数据查询分析，提升数据管理的时效性和准确性。
- 索引管理：为数据集创建索引加速向量的相似度搜索，索引上线服务之前支持向量索引自动调参，保证在尽量低的计算成本下获得更高的检索精度，索引上线后还支持索引的流式更新，保证数据检索时效性。
- 数据检索：支持多种检索方式：向量检索、标量检索、混合检索、非结构化数据检索。其中，混合检索本质上是带有属性过滤的向量搜索。
- 弹性调度：在检索请求数量越来越高时，可以通过弹性调度能力，自动获取更多的计算资源，保证检索服务稳定性。
- 监控告警：检索服务过程中，支持服务全链路的监控和告警，保证数据在线检索的稳定性和问题排查效率。
当前，市场上的向量数据库主要有三种形态：一是基于关系型数据库的向量索引，适用于小规模向量数据的存储和查询；二是专用向量数据库，通过使用特定的向量索引、压缩算法和查询优化技术来提供高效的向量存储和检索，一般用于企业级应用设计和优化的数据库解决方案；三是分布式向量数据库：利用分布式计算和存储技术实现了高性能和可扩展性，适用于大规模向量数据集和高并发访问的场景。
Loading...