【流式传输】使用Spring Boot实现ChatGpt流式传输

import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.servlet.mvc.method.annotation.StreamingResponseBody;
 
import java.io.IOException;
import java.io.OutputStream;
import java.nio.charset.StandardCharsets;
 
@RestController
public class ChatGptController {
 
    // 假设这是与ChatGpt交互的服务
    private final ChatGptService chatGptService;
 
    public ChatGptController(ChatGptService chatGptService) {
        this.chatGptService = chatGptService;
    }
 
    @GetMapping(path = "/chatgpt/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public StreamingResponseBody streamChatGptConversation() {
        return outputStream -> {
            // 假设这是发送给ChatGpt的用户查询
            String userQuery = "你好";
            // 循环进行对话，直到没有更多响应
            while (true) {
                String response = chatGptService.sendQuery(userQuery);
                // 输出响应到客户端
                try {
                    outputStream.write(response.getBytes(StandardCharsets.UTF_8));
                    outputStream.write("\n".getBytes(StandardCharsets.UTF_8));
                    // 强制刷新输出缓冲区
                    outputStream.flush();
                } catch (IOException e) {
                    // 处理异常
                    e.printStackTrace();
                }
                // 更新用户查询，以便进行下一轮对话
                userQuery = "后续查询";
            }
        };
    }
}

这个代码示例展示了如何在Spring Boot中使用StreamingResponseBody来实现服务器端的流式响应。它创建了一个简单的HTTP GET端点，该端点使用StreamingResponseBody来发送一个无限的事件流。每个事件都是通过循环中的outputStream发送的，并且使用标准的SSE格式。注意，这个例子是为了演示目的，并且假设了一个ChatGptService的存在，它能够与ChatGPT进行交互。在实际应用中，你需要实现这个服务类，并且确保它能够与你的ChatGPT模型或API进行正确的通信。