SpringAI集成本地AI大模型ollama(调用篇)非常简单!!
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import ai.djl.repository.zoo.ModelZoo;
import ai.djl.repository.zoo.ZooModel;
import ai.djl.inference.Predictor;
import ai.djl.modality.Input;
import ai.djl.modality.Output;
import ai.djl.translate.TranslateException;
@Service
public class OllamaService {
@Autowired
private ZooModel<Input, Output> ollamaModel;
public Output predict(Input input) throws TranslateException {
try (Predictor<Input, Output> predictor = ollamaModel.newPredictor()) {
return predictor.predict(input);
}
}
}
这段代码展示了如何在Spring框架中使用自动注入(Autowired)来初始化DJL中的ZooModel
,并在需要的时候创建一个Predictor
来进行预测。这里的Input
和Output
是泛型,需要根据实际使用的模型进行替换。这段代码提供了一个服务层的示例,用于与AI模型交互,并且可以被控制器或其他服务调用。
评论已关闭