使用ONNX Runtime在Java Web应用中部署深度学习模型

import ai.onnxruntime.OnnxRuntime;
import ai.onnxruntime.OrtEnvironment;
import ai.onnxruntime.OrtException;
import ai.onnxruntime.OrtSession;
import ai.onnxruntime.TensorInfo;
import ai.onnxruntime.TensorOptions;
import ai.onnxruntime.TensorShape;
import ai.onnxruntime.MLValue;
import org.apache.commons.io.IOUtils;
 
import java.io.InputStream;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
 
public class OnnxRuntimePredictor {
 
    private OrtEnvironment env;
    private OrtSession session;
    private final String modelPath;
 
    public OnnxRuntimePredictor(String modelPath) {
        this.modelPath = modelPath;
        this.env = OnnxRuntime.create(OnnxRuntime.getAvailableProviders().get(0));
        this.session = env.createSession(modelPath);
    }
 
    public float[] predict(float[] inputData) throws OrtException {
        // 创建输入输出名称的tensor
        TensorInfo inputTensorInfo = session.getInputInfo().get("input");
        TensorInfo outputTensorInfo = session.getOutputInfo().get("output");
 
        // 创建输入数据的tensor
        try (Tensor<Float> input = Tensor.create(inputTensorInfo.getShape(), Float.class, inputData)) {
            // 运行模型进行预测
            String[] outputNames = { "output" };
            String[] inputNames = { "input" };
            MLValue.Factory mlValue = MLValue.factory(env);
            session.run(new String[]{"input"}, new MLValue[]{mlValue.createTensor(input)});
            // 获取预测结果
            MLValue.TypeInfo typeInfo = session.getOutputInfo().get("output").getInfo().typeInfo();
            Tensor<Float> result = mlValue.createTensor(typeInfo).getTensor().getDataAsFloatScalar();
 
            return result.getData().clone(); // 返回预测结果的副本
        }
    }
 
    public void close() throws OrtException {
        session.close();
        env.close();
    }
}

这个简化的代码示例展示了如何使用ONNX Runtime在Java中加载和运行一个深度学习模型。它演示了如何创建一个ONNX Runtime的环境，打开一个模型会话，并进行预测。注意，这个例子假设模型的输入和输出节点的名称分别是"input"和"output"。在实际应用中，你需要根据你的模型进行相应的调整。