Difyがローカルに展開された大規模モデルに接続できない

議論
1

  1. Docker方式でローカルにDify 1.11.4をデプロイする。

  2. AI大規模モデルをローカルサーバーにデプロイ（Ollama非対応）。PythonでOpenAI（base_url=dsv_ai_url, api_key=api_key）メソッドを使用してAI大規模モデルに正常にアクセスし、応答を得られる。

  3. AI大規模モデルとDifyは、企業内にある2台の異なるサーバーにデプロイされており、相互にpingが通じる。

問題：DifyプラットフォームがOpenAI-API-compatibleまたはVllmプラグインを使用し、関連するURL、API、モデル名を設定しても正常に接続できず、エラーが発生します：req_id: 5cb05fbd36 PluginInvokeError: {“args”:{}, “error_type”:“UnboundLocalError”, “message”:“ローカル変数 ‘response’ は値が関連付けられていないためアクセスできません”}。この問題を解決するにはどうすればよいですか？

2

同じ問題に遭遇しました。スレ主は解決しましたか？

誰かがissueも提出しましたが、提示された解決策に従っても、まだ解決できませんでした。しかし、そのissueはクローズされ、誰も追跡していません。openAI compatible add-on faild to add LLM · Issue #2203 · langgenius/dify-official-plugins · GitHub