Dify无法连接本地部署大模型

1、docker方式本地部署dify1.11.4;

2、AI大模型本地服务器部署(非Ollama),python通过OpenAI(base_url=dsv_ai_url, api_key=api_key, )方法可以正常访问AI大模型并相应;

3、AI大模型和Dify都部署在企业内部两台不同的服务器上,可以ping通。

问题:dify平台通过插件OpenAI-API-compatible或Vllm并配置相关的URL、API、模型名称,无法正常链接,报错:req_id: 5cb05fbd36 PluginInvokeError: {“args”:{},“error_type”:“UnboundLocalError”,“message”:“cannot access local variable ‘response’ where it is not associated with a value”},请问该如何解决?

遇到相同的问题,请问楼主是否已解决。

有人也提交了issue,根据给出的解决方案,依然无法解决,但是这个issue被关闭了,也没有人继续跟踪。openAI compatible add-on faild to add LLM · Issue #2203 · langgenius/dify-official-plugins · GitHub