【LLM】python调用本地的ollama部署的大模型

在Python中调用本地部署的Ollama大模型，可以使用Hugging Face的transformers库。以下是一个简单的例子，展示如何加载和使用本地部署的Ollama大模型：

首先，确保你已经安装了transformers库。如果没有安装，可以使用pip进行安装：

pip install transformers

然后，你可以使用以下Python代码来加载和使用本地部署的Ollama大模型：

from transformers import AutoModel, AutoTokenizer
 
# 替换下面的路径为你的Ollama模型的实际路径
model_path = "/path/to/your/ollama-model"
 
# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModel.from_pretrained(model_path)
 
# 示例输入
input_text = "你好，世界！"
 
# 编码输入文本
input_ids = tokenizer.encode(input_text, return_tensors='pt')
 
# 使用模型生成响应
response = model.generate(input_ids)
 
# 解码响应
decoded_response = tokenizer.decode(response[0], skip_special_tokens=True)
 
print(decoded_response)

请确保替换model_path为你的Ollama模型的实际路径。这段代码将加载模型和分词器，对输入文本进行编码，并使用模型生成响应，然后解码输出。