AI

向量数据库介绍

Posted Cola🌀

背景 🔖

在现实世界中，数据并不总是整齐划一或结构化的。如果你曾经处理过图像、视频文件、录音或原始文本，你就会明白这一点。这正是向量数据库要解决的难题。

随着人工智能和 GPT-4 等大型语言模型的兴起，存储和搜索复杂数据的需求激增。而这正是向量数据库的用武之地–它们专为处理传统数据库无法处理的高维数据而设计。

　　

什么是向量数据库？ 🔖

要了解向量数据库的重要性，我们先退一步。传统数据库（如 PostgreSQL）善于存储结构化信息：行、列、干净的条目。MongoDB 等 NoSQL 数据库在此基础上进行了扩展，让我们可以处理半结构化的 JSON 文档。

但人工智能的思维方式不是行列式的。机器学习模型将复杂的数据分解为 向量嵌入 –从本质上讲，就是捕捉数据意义或特征的数字表示。一句话、一张产品图片、一个用户配置文件，所有这些都可以转化为一个高维向量。

向量数据库专门用于高效地存储和搜索这些向量。它们使用 相似性搜索 代替关键字匹配，根据意义而不仅仅是文本来查找最接近的匹配。

向量数据库是一种专门用于存储、管理和检索向量数据的数据库系统。它与传统关系型数据库（如 MySQL）或文档型数据库（如 MongoDB）的核心区别在于，其优化目标是高效处理向量之间的相似性计算，而非结构化查询或事务性操作。

向量数据库是一种专门用于存储、索引和查询向量数据的数据库系统。

这里的 “向量” 指的是将非结构化数据（如文本、图像、音频、视频等）通过算法（如深度学习模型）转换后得到的高维数值数组。例如，一句话可以被转换成一个包含数百甚至数千个数字的向量，每个数字代表这句话在某个维度上的特征（如语义、情感等）。

向量数据库的核心能力是高效计算向量之间的相似度（如通过余弦相似度、欧氏距离等算法），从而快速找到与目标向量 “最相似” 的数据。这一特性使其成为处理 AI 场景中非结构化数据的关键工具。

　　

核心概念：什么是向量？ 🔖

向量是由一组数值组成的有序数组（如[0.2, 1.5, -0.8, ..., 3.1]），可用于表示非结构化数据的抽象特征。例如：

  • 一张图片可以通过 AI 模型转化为一个 512 维向量（包含颜色、形状、物体等特征）；
  • 一段文本可以转化为一个 768 维向量（包含语义、情感等信息）；
  • 一段音频可以转化为一个 128 维向量（包含音调、节奏等特征）。

这些向量的核心作用是：将难以直接比较的非结构化数据，转化为可通过数学计算（如余弦相似度、欧氏距离）衡量 “相似性” 的数值形式。

这里的 512、768、128 指的是向量的 “维度”（Dimension），表示这个向量由多少个数值组成（例如 512 维向量就是包含 512 个数字的数组）。维度是向量的核心属性，直接影响数据的特征表达能力和计算效率，具体含义可以从以下几个角度理解：

　

🔹维度的本质：特征的 “精细度” 与 “复杂度”

向量的维度本质上反映了对原始数据（图片、文本、音频）特征的刻画精细度：

  • 维度越高：向量包含的特征信息越丰富、越细致。例如，512 维图片向量相比 128 维向量，能更精准地捕捉图片的细节（如纹理、微小物体、色彩渐变）；
  • 维度越低：向量更简洁，计算速度更快，但可能丢失部分细节（需要在 “精度” 和 “效率” 间权衡）。

不同数据类型的常见维度差异，是由其特征复杂度决定的：

  • 图片包含颜色、形状、纹理等多维信息，因此常用 512 维、1024 维等较高维度；
  • 文本的语义特征复杂度适中，常用 768 维（如 BERT 模型输出）；
  • 音频的核心特征（音调、节奏）相对简洁，常用 128 维、256 维等。

　

🔹维度的来源：由 AI 模型决定

向量的维度并非随意设定，而是由生成向量的 AI 模型直接定义的。例如：

  • 用 ResNet-50（一种经典图像识别模型）处理图片时，其最后一层输出的特征向量固定为 2048 维；
  • 用 BERT-base（一种语言模型）处理文本时，输出向量固定为 768 维；
  • 用 VGGish（一种音频特征提取模型）处理音频时，输出向量固定为 128 维。

这些模型在设计时，会根据数据的复杂度和任务需求（如识别精度、计算效率）确定输出维度，最终形成了不同数据类型的 “典型维度”。

　

🔹将图片转成向量的过程不是向量数据库来完成

将图片转成向量的过程不是向量数据库来完成的，而是由AI 模型（通常是计算机视觉模型） 负责，向量数据库的作用是存储和管理这些已经生成的向量，并提供高效的相似性检索能力。

  • 图片→向量：由 AI 模型完成

图片是像素构成的非结构化数据（如一张 224×224 的 RGB 图片，本质是 224×224×3 的数值矩阵），无法直接被向量数据库处理。需要通过预训练的计算机视觉模型（如 ResNet、CLIP、VGG 等）将其 “编码” 为固定长度的向量。

例如：用 ResNet50 模型处理一张图片，会输出一个 2048 维的向量，这个向量包含了图片的关键特征（如颜色、形状、纹理、物体类别等抽象信息）。

模型的作用：提取图片的 “语义特征”，将复杂的视觉信息压缩成可计算的向量形式。

  • 向量→存储与检索：由向量数据库完成

当图片被转化为向量后，向量数据库会接收这些向量并存储（类似传统数据库存储数据记录）。后续需要 “找相似图片” 时，只需将目标图片（如用户上传的图片）也通过同一个模型转化为向量，再向向量数据库发起 “相似性查询”，数据库会快速返回与目标向量最相似的向量列表（对应原始图片）。

　

举例说明向量数据库的应用 🔖

🔹文本语义搜索（以 “找相似句子” 为例）

  • 场景：在大量文档中，找到与 “如何提高深度学习模型的准确率？” 语义最接近的句子。
  • 过程：
    • 先将这句话通过预训练模型（如 BERT）转换成一个 768 维的向量；
    • 向量数据库中已存储了所有文档句子的向量；
    • 数据库计算目标向量与所有存储向量的相似度，返回相似度最高的句子（如 “怎样提升深度神经网络的精确率？”）。

　

🔹图像检索（以 “找相似图片” 为例）

  • 场景：上传一张 “猫的图片”，从图库中找到所有相似的猫的图片。
  • 过程：
    • 用图像模型（如 ResNet）将上传的猫图转换成向量，捕捉其颜色、形状、纹理等特征；
    • 向量数据库中存储了图库所有图片的向量；
    • 通过相似度计算，快速返回与目标猫图特征最接近的图片（如不同角度、不同品种但同属猫的图片）。

　

🔹推荐系统（以 “商品推荐” 为例）

  • 场景：根据用户浏览过的 “无线耳机”，推荐相似产品。
  • 过程：
    • 每个商品（如无线耳机）被转换成向量，包含价格、功能、用户评价等特征；
    • 向量数据库计算 “无线耳机” 向量与其他商品向量的相似度；
    • 推荐相似度高的商品（如降噪耳机、蓝牙耳机等）。

　

传统数据库（如 MySQL）擅长处理结构化数据（如数字、文字），但无法直接计算非结构化数据的相似度。而向量数据库通过优化的索引结构（如 IVF、HNSW 等），可以在海量向量中快速完成相似度查询，解决了 AI 时代非结构化数据的高效检索问题。

　

向量数据库适合构建什么类型的应用 🔖

向量数据库的核心优势是高效处理非结构化数据的相似性检索，因此特别适合构建需要对文本、图像、音频、视频等 “非结构化信息” 进行快速匹配、关联或推荐的应用。以下是几类典型应用场景及具体案例：

🔹内容检索与推荐类应用

这类应用的核心是 “根据用户输入的内容，快速找到相似 / 相关的信息”，依赖向量数据库的高效相似性查询能力。

  • 图像 / 视频检索
    • 案例：电商平台的 “拍照找同款”（如淘宝的 “拍立淘”）、相册 APP 的 “相似照片归类”、视频平台的 “片段搜全片”（如根据一个几秒的短视频片段找到完整电影）。
    • 原理：将商品图、用户上传的照片、视频帧转化为向量，用户输入内容（如拍一张衣服照片）也转化为向量，通过向量数据库检索最相似的结果。
  • 文本语义检索
    • 案例：智能文档问答系统（如 “上传一份 PDF，提问后快速找到相关段落”）、学术论文查重、客服系统的 “相似问题匹配”（自动推荐历史相似工单的解决方案）。
    • 原理：用 BERT、GPT 等模型将文本（文档、问题、句子）转化为语义向量，通过向量相似度找到 “意思相近” 的内容（而非关键词完全匹配）。
  • 跨模态检索
    • 案例：“用文字搜图片”（如输入 “夕阳下的海边城堡” 找到对应图片）、“用图片搜描述”（如上传一张猫的图片，返回 “一只橘猫在沙发上睡觉” 的文本）。
    • 原理：用 CLIP 等多模态模型将文本和图像转化到同一向量空间，实现不同类型数据的直接比对。

　　

🔹AI 大模型增强类应用

大模型（如 ChatGPT）在处理 “私有数据” 或 “实时信息” 时存在局限，向量数据库可作为 “外部记忆库” 扩展其能力。

  • 大模型知识库问答（RAG，检索增强生成）
    • 案例：企业内部的 “智能客服机器人”（基于公司产品手册、内部文档回答员工 / 客户问题）、医疗领域的 “病历辅助诊断”（结合患者病历和医学文献给出建议）。
    • 原理：将私有文档拆分为片段并转化为向量存入数据库，用户提问时，先检索数据库中与问题相关的文档片段，再将片段作为 “上下文” 喂给大模型，让其基于具体信息生成答案（避免大模型 “胡编乱造”）。

　　

🔹多模态交互与分析类应用

针对需要融合多种数据类型（文本、图像、音频等）进行分析或交互的场景。

  • 多媒体内容审核
    • 案例：社交平台的 “违规内容检测”（同时识别违规图片、低俗文本、敏感音频，如将新上传的图片与已知违规图片向量比对，快速判断是否违规）。
    • 原理：将各类违规样本转化为向量，新内容入库前先与违规向量库比对，相似度超过阈值则触发审核。
  • 智能多模态助手
    • 案例：手机 “全能助手”（用户可拍一张植物照片 + 输入 “这是什么？怎么养？”，助手先通过图像向量找到植物名称，再结合文本向量检索养护知识，综合回答）。

　

🔹物联网与传感器数据类应用

处理物联网设备产生的时序或特征数据（如传感器信号、设备状态等）。

  • 设备故障预测
    • 案例：工厂的 “机器健康监测”（将设备正常运行时的振动、温度等传感器数据转化为向量，实时采集当前数据并生成向量，通过比对相似度判断是否偏离正常状态，提前预警故障）。
    • 原理：正常状态向量构成 “基准库”，实时向量与基准库的相似度低于阈值时，触发异常警报。

向量数据库的核心适用场景可概括为：当应用需要对非结构化数据（文本、图像、音频等）进行 “相似性匹配”“语义关联” 或 “跨模态融合” 时，它能比传统数据库（依赖关键词、结构化字段）更高效、更精准地完成任务。其价值在 AI 驱动的内容检索、大模型增强、多模态交互等领域尤为突出。

　　

向量数据库的具体应用步骤 🔖

我们以图像搜索应用（如 “拍照识物找同款”） 为例，更细致地拆解向量数据库的具体应用步骤，涵盖从数据准备到最终输出结果的全流程：

🔹步骤 1：数据预处理（非结构化数据→特征向量）

这是将原始数据转化为向量数据库可处理格式的核心步骤，分为 “数据清洗” 和 “特征提取” 两部分：

  • 数据清洗：
    收集待入库的图像数据（如电商平台的商品图、博物馆的文物图），进行标准化处理 —— 统一尺寸（如 224×224 像素）、去除水印 / 冗余背景、修正色彩偏差等，确保数据质量。
  • 特征提取（向量化）：
    使用预训练的深度学习模型（如专门处理图像的 ResNet-50、MobileNet，或通用多模态模型 CLIP），将清洗后的图像转化为高维向量。
    • 原理：模型通过多层神经网络，逐层提取图像的抽象特征（底层特征如边缘、纹理，高层特征如 “是否有圆形表盘”“是否为皮质材质”），最终输出一个固定长度的向量（如 ResNet-50 输出 2048 维向量，每个维度是 0-1 之间的浮点数）。
    • 举例：一张 “黑色皮质手表” 的图像，经模型处理后生成向量V = [0.12, 0.89, -0.34, ..., 0.67]（共 2048 个数字），每个数字对应一个特征维度（如第 2 个数字 0.89 可能代表 “皮质材质的概率”）。

　

🔹步骤 2：向量入库（向量→数据库存储 + 索引构建）

将生成的向量存入数据库，并构建索引以加速后续查询，这一步直接影响查询效率：

  • 向量存储：
    向量数据库（如 Milvus、Weaviate）会为每个向量分配唯一标识（ID），并关联原始数据的元信息（如图像的 URL、名称、上传时间），形成 “向量 – ID – 元信息” 的映射关系，存储在底层存储引擎（如 RocksDB、S3）中。
  • 索引构建：
    由于向量维度高（通常数百到数千维）、数据量大（可能上亿条），直接遍历所有向量计算相似度会非常缓慢，因此需要构建专门的向量索引：
    • 常用索引类型：HNSW（Hierarchical Navigable Small World，适用于高维向量，查询速度快）、IVF（Inverted File，通过聚类减少比对次数）、FLAT（暴力搜索，精度最高但速度最慢，通常作为基准）。
    • 以 HNSW 为例：索引会构建一个多层 “导航图”，高层节点作为快速跳转的 “路标”，低层节点存储具体向量，查询时先通过高层快速定位大致范围，再到低层精确匹配，大幅减少计算量。

　　

🔹步骤 3：用户查询触发（输入→目标向量）

当用户发起查询时，需将查询内容也转化为向量，与数据库中的向量进行比对：

  • 用户输入：用户上传一张 “黑色皮质手表” 的照片（可能角度、光线与数据库中的图不同），希望找到同款或相似商品。
  • 目标向量生成：
    用与步骤 1 中相同的模型和参数，对用户上传的图像进行特征提取，生成目标向量V_query（确保向量空间一致，否则无法计算相似度）。例如，V_query的维度也是 2048 维，与数据库中存储的向量处于同一特征空间。

　　　

🔹步骤 4：相似度查询（目标向量→相似向量匹配）

向量数据库的核心功能在此步骤体现，通过索引快速找到与目标向量最相似的结果：

  • 查询参数设置：
    用户可指定返回结果的数量（如 “Top 5 相似图”）、相似度阈值（如只返回相似度＞0.8 的结果）、相似度计算方式（如余弦相似度、欧氏距离）。
    • 余弦相似度：衡量两个向量的夹角，值范围 [-1,1]，越接近 1 说明方向越一致（特征越相似），适用于高维向量；
    • 欧氏距离：衡量向量在空间中的直线距离，值越小越相似，适用于低维场景。
  • 索引加速查询：
    数据库调用步骤 2 中构建的 HNSW 索引，通过 “导航图” 快速定位候选向量集（而非全量遍历），对候选集计算精确的相似度。例如，原本需比对 100 万张图，通过索引筛选后只需比对 1000 张，效率提升 1000 倍。
  • 结果排序：
    对计算出的相似度进行排序，得到与V_query最相似的 Top N 向量（如相似度 0.92、0.91、0.88 的向量）。

　

🔹步骤 5：结果返回与应用（相似向量→原始数据）

将查询到的向量映射回原始数据，以用户可理解的形式输出：

  • 向量→原始数据映射：
    数据库根据相似向量的 ID，找到对应的元信息（如商品图的 URL、名称、价格、商家信息）。例如，相似度 0.92 的向量对应 “黑色皮质手表（品牌 A，售价 1999 元）”，0.91 的向量对应 “深棕色皮质手表（品牌 B，售价 1799 元）”。
  • 应用展示：
    应用程序将这些结果整理后展示给用户，标注相似度（如 “92% 相似”），用户可直接点击查看详情或购买，完成 “拍照识物找同款” 的闭环。

　　

🔹关键细节总结

  • 一致性：步骤 1 和步骤 3 必须使用相同的模型和参数生成向量，否则向量不在同一空间，相似度计算无意义；
  • 索引优化：索引并非 “一劳永逸”，当数据库新增大量向量后，需定期重新构建或优化索引（如 HNSW 的动态更新），避免查询效率下降；
  • 权衡：查询速度与精度存在一定权衡（如 HNSW 比 FLAT 快但可能略损失精度），需根据应用场景（如实时推荐需快，科研检索需准）选择合适的索引和参数。

通过这 5 个步骤，向量数据库实现了从 “非结构化数据输入” 到 “精准相似结果输出” 的全流程，支撑起 AI 时代对海量非结构化数据的高效处理需求。