EventSourceResponse是来源于sse-starlette库的一个类,它主要用于构建Server-Sent Events (SSE)响应。Server-Sent Events 是一种允许服务器向浏览器发送实时更新的技术,常用于实现实时推送通知、股票报价更新、聊天应用等场景。 在Starlette 和 FastAPI 等基于异步的Web框架中,EventSourceResponse类可以帮助开发者轻松创建 ...
一定要加sleep ,否则 sse_starlette.sse 中 listen_for_disconnect 收不到 http.disconnect 信号。这个表现是服务端的sse传输不会结束,会一直传递下去(虽然客户端 close或者disconnect)。
from fastapi.responses import StreamingResponse from sse_starlette.sse import EventSourceResponse from configs import LLM_MODELS, TEMPERATURE, HISTORY_LEN, Agent_MODEL from server.utils import wrap_done, get_ChatOpenAI, get_prompt_template from langchain.chains import LLMChain @@ -180,8 +180,8...
from fastapi import Body from fastapi.responses import StreamingResponse from sse_starlette.sse import EventSourceResponse from configs import LLM_MODELS, TEMPERATURE from server.utils import wrap_done, get_ChatOpenAI from langchain.chains import LLMChain @@ -100,4 +100,4 @@ async def chat_iterat...