使用MongoDB Atlas Vector Search与LLMs实现高效查询

from transformers import AutoModel, AutoTokenizer
import numpy as np
from pymongo import MongoClient
 
# 连接到MongoDB Atlas
client = MongoClient("mongodb+srv://<username>:<password>@cluster0.mongodb.net/test?retryWrites=true&w=majority")
db = client["test"]
collection = db["documents"]
 
# 加载预训练的LLM模型和tokenizer
tokenizer = AutoTokenizer.from_pretrained("gpt-3.5-turbo")
model = AutoModel.from_pretrained("gpt-3.5-turbo")
 
# 创建向量搜索查询
def create_search_query(query, collection, top_k):
    # 使用LLM将查询转换为向量
    query_vector = create_query_vector(query, tokenizer, model)
    
    # 在MongoDB集合中搜索最近邻的向量
    nearest_neighbors = collection.find({"vectors": {"$near": {"$geometry": {"type": "Point", "coordinates": query_vector}}}}).limit(top_k)
    
    # 返回前top_k个最近邻的文档
    return list(nearest_neighbors)
 
# 将文本转换为向量
def create_query_vector(text, tokenizer, model):
    inputs = tokenizer.encode(text, return_tensors='pt')
    outputs = model(inputs)
    last_hidden_states = outputs.last_hidden_state
    vector = last_hidden_states[0][0].mean(axis=0).numpy()  # 取第一个token的平均隐藏状态作为向量表示
    return vector.tolist()
 
# 示例查询
query = "地球的形状"
top_k = 5
results = create_search_query(query, collection, top_k)
for result in results:
    print(result)

这段代码展示了如何使用MongoDB Atlas进行基于向量的搜索以及如何将查询转换为文本向量。首先，它连接到MongoDB Atlas数据库，然后加载预训练的语言模型。create_search_query函数负责创建向量搜索查询，它首先调用create_query_vector函数来获取查询的向量表示，然后使用MongoDB的向量搜索功能查找最近邻的文档。最后，提供了一个示例查询，并打印出返回的结果。