Rerank #

在RAG（检索增强生成）中，Rerank是一种对初步检索到的多个候选文档进行重新评分和排序的技术，确保生成模型基于最相关的文档生成回答。通过Rerank，可以剔除不相关的文档，优化检索结果，提高生成模型的准确性和回答质量。这一步对提升生成结果的相关性和减少无关信息至关重要。

给定查询和文档列表，Rerank(重排序)会根据文档与查询的语义相关性，将文档从最相关到最不相关进行排序。

Rerank模型 #

与嵌入模型不同，Rerank模型使用问题和文档作为输入，直接输出相似度而不是嵌入向量。通过向Rerank模型输入查询和段落，可以获得相关性分数。这个分数可以通过sigmoid函数映射到[0,1]区间的浮点值。

• BAAI/bge-reranker-v2-m3

Rerank模型部署 #

• 使用Xinference
  • 在Xinference中使用Rerank模型BAAI/bge-reranker-v2-m3
• 使用text-embeddings-inference
  • 使用Text Embeddings Inference运行Embeddings模型和Rerank模型