向量检索

向量检索是一种基于向量空间模型的信息检索技术，它通过将数据（如文本、图像、音频等）转换为高维向量，然后计算向量之间的相似度来找到与查询最相似的数据。

向量度量

常见的向量度量有四种：欧式距离、余弦、内积、海明距离

• 欧式距离：常用于图片检索。
• 余弦相似度：常用于人脸识别。
• 内积：多用于推荐系统。
• 海明距离：适用于向量较小的大规模视频检索场景。

向量检索与传统检索思维框架本质上没区别，其重点在于向量索引结构。主要包含两方面：

1. 减少候选向量集，传统文本检索用倒排索引过滤无关文档，向量检索则建立索引结构过滤不相关向量；
2. 降低单个向量计算复杂度，传统文本检索用漏斗模型，而向量检索对高维向量进行量化、近似计算，最后在小数据集上排序原始向量。

向量索引方法

https://github.com/erikbern/ann-benchmarks

向量索引是一个研究得比较多的问题，学术上对应的专有名词叫Approximate Nearest Neighbor Search (ANNS)，即近似最近邻搜索。

向量索引的定义：向量索引是指通过某种数学量化模型，对向量构建一种时间和空间都比较高效的数据索引结构，使得我们能够实时地获取跟查询向量尽可能最相近的K个向量。从定义可以看到，要设计一种高效的向量索引模型，应该满足3个基本条件，即：

• 实时查询，支持海量（百亿、千亿级别）规模库量级的实时查询；
• 存储高效，要求构建的向量索引模型数据压缩比高，达到大幅缩减内存使占用的目的；
• 召回精度好，top@K有比较好的召回率，跟暴力搜索（brute-force search）的结果相比；

暴力计算