我们此前使用OpenAI接口流式传输时,是通过一个[DONE]的标记来判断流的结束,但是目前接触到更多的LLM模型,然后遇到没有[DONE]标识的情况,所以查询了一些资料,我们此前的方法并不是OpenAI 标准流式接口消...
我们此前使用OpenAI接口流式传输时,是通过一个[DONE]的标记来判断流的结束,但是目前接触到更多的LLM模型,然后遇到没有[DONE]标识的情况,所以查询了一些资料,我们此前的方法并不是OpenAI 标准流式接口消...
这两年比较流行AI Agent,所以自用博客尝试了下接入,目前使用的是讯飞星火大模型的接口,token是有数量限制的,所以仅仅作为测试在本站展示,流式的对话切割插入的样式标签还不够完美,后续继续细化下,今天主要就来记录下...