LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
from transformers import AutoTokenizer, AutoModel
# 加载 HuggingFace 的 tokenizer 和 model
tokenizer = AutoTokenizer.from_pretrained("lucidrains/gpt-j-6b-llama")
model = AutoModel.from_pretrained("lucidrains/gpt-j-6b-llama")
# 使用 tokenizer 和 model 进行推理
sequence = "Hello, world!"
input_ids = tokenizer.encode(sequence, return_tensors='pt')
outputs = model(input_ids)
last_hidden_states = outputs.last_hidden_state
# 打印输出结果
print(last_hidden_states)这段代码演示了如何使用 HuggingFace 库加载预先训练好的 GPT-J 6B (LLaMA 格式) 模型，并对一个简单的输入序列 "Hello, world!" 进行编码和推理。然后，它打印出模型的最后一个隐藏状态，这是模型输出的一个表示，可以用于进一步处理或分析。
评论已关闭