相似度检索：原理、算法与应用实践

发布时间：2026/7/16 23:58:20

1. 什么是相似度检索

相似度检索（Similarity Search）是信息检索、推荐系统、自然语言处理等领域中的核心技术，旨在从大规模数据集中快速找到与查询对象最相似的数据项。它广泛应用于文本搜索、图像检索、音频匹配、商品推荐等场景。

2. 相似度检索的核心原理

相似度检索的核心是通过计算查询对象与候选对象之间的相似度得分，然后根据得分排序返回最相似的结果。整个过程通常包含以下步骤：

特征表示：将文本、图像、音频等原始数据转换为数值向量（Embedding）。
相似度计算：使用距离度量（如余弦相似度、欧氏距离）计算向量间的相似度。
索引与检索：通过高效索引结构（如倒排索引、向量索引）加速检索过程。
结果排序：按相似度得分从高到低排序，返回 Top-K 最相似结果。

3. 常用相似度度量方法

3.1 余弦相似度（Cosine Similarity）

衡量两个向量在方向上的差异，忽略向量长度，适用于文本相似度计算：

import numpy as np def cosine_similarity(vec1, vec2): dot_product = np.dot(vec1, vec2) norm1 = np.linalg.norm(vec1) norm2 = np.linalg.norm(vec2) return dot_product / (norm1 * norm2)

3.2 欧氏距离（Euclidean Distance）

衡量向量在空间中的直线距离，距离越小表示越相似：

def euclidean_distance(vec1, vec2): return np.linalg.norm(vec1 - vec2)

3.3 杰卡德相似系数（Jaccard Similarity）

适用于集合数据，衡量两个集合的交集与并集的比例：

def jaccard_similarity(set1, set2): intersection = len(set1 & set2) union = len(set1 | set2) return intersection / union if union > 0 else 0

4. 相似度检索的算法与索引技术

4.1 传统方法：倒排索引

倒排索引（Inverted Index）是文本检索的经典技术，通过建立“词项→文档”的映射实现快速查找。适用于关键词匹配场景，但难以处理语义相似度。

4.2 向量检索：近似最近邻搜索

随着 Embedding 技术的普及，向量检索成为主流。常用算法包括：

LSH（局部敏感哈希）：通过哈希函数将相似向量映射到相同桶中。
HNSW（分层可导航小世界图）：基于图结构的近似最近邻算法，兼顾精度与速度。
IVF（倒排文件）：先聚类再检索，适合大规模向量数据集。

4.3 混合检索

结合关键词检索（BM25）与向量检索（Embedding），通过加权融合提升召回效果。

5. 实践案例：使用 Faiss 进行向量相似度检索

Faiss 是 Meta 开源的向量相似度检索库，支持 CPU/GPU 加速。以下是一个简单示例：

import faiss import numpy as np 生成示例数据 dimension = 128 database_size = 10000 query_size = 100 np.random.seed(1234) database_vectors = np.random.random((database_size, dimension)).astype('float32') query_vectors = np.random.random((query_size, dimension)).astype('float32') 构建索引 index = faiss.IndexFlatL2(dimension) # 使用 L2 距离（欧氏距离） index.add(database_vectors) 检索 Top-5 相似结果 k = 5 distances, indices = index.search(query_vectors, k) print("查询 0 的 Top-5 结果索引:", indices[0]) print("对应距离:", distances[0])