Elasticsearch：使用在本地计算机上运行的 LLM 以及 Ollama 和 Langchain 构建 RAG 应用程序

from langchain.chat_models import ChatOpenAI
from langchain.llms import LLM
from langchain.prompts import StaticPromptTemplate
from langchain.vectorstores import VectorStore
from langchain.chains import ConversationChain
from langchain.chains.llm_chains import ConversationalLLM
 
# 初始化一个向OpenAI的GPT-3模型查询问题的ChatOpenAI实例
chat_model = ChatOpenAI(temperature=0)
 
# 创建一个向Ollama查询向量的LLM实例
ollama_llm = LLM(ollama_url="http://localhost:7500")
 
# 创建一个向Langchain的RAG查询向量的LLM实例
langchain_rag_llm = LLM(langchain_rag_url="http://localhost:7501")
 
# 创建一个向量库实例，用于存储向量
vectorstore = VectorStore.from_files("./data/vectors.pkl")
 
# 创建一个静态提示模板，用于构建对话提示
prompt_template = StaticPromptTemplate("You are a helpful AI assistant. You have a RAG file with information about a threat, vulnerability, or mitigation. You can answer factual questions about the content, classify items as either a threat, vulnerability, or mitigation, or list items of a specific type.")
 
# 创建一个基于LLM的对话链，使用向量库和提示模板
conversation_chain = ConversationalLLM(
    llms=[ollama_llm, langchain_rag_llm],
    vectorstore=vectorstore,
    prompt_template=prompt_template,
    chain_type="llm_only",
)
 
# 使用提供的ChatOpenAI实例和对话链实例
conversation_agent = ConversationChain(chat_model, conversation_chain)
 
# 示例对话
print(conversation_agent.converse("What is a vulnerability?"))

这个代码示例展示了如何初始化一个简单的对话代理，它使用了三种不同的LLM：一个是直接与OpenAI GPT-3模型交互的ChatOpenAI实例，另一个是通过Ollama服务查询向量的LLM实例，以及一个通过Langchain的RAG查询向量的LLM实例。同时，它使用了一个向量库来存储向量，并定义了一个静态提示模板来构建对话提示。最后，它创建了一个对话链实例，该实例可以接受用户输入并生成相应的回复。