进入llm节点要加载非常久是怎么回事,要怎么排查问题


我这边有一个LLM节点提示词大概是4000个字,运行到这个节点的时候,又时候20s左右就能运行出结果,但是有时候要运行10min,初步排查感觉不是调用api的返回时间,我可以怎么排查这个问题

个人经验分享:最近国内的算力紧张,从kimi智谱厂家到硅基流动这种第三方,服务都存在明显波动,经常接口报429(特别是每天15点之后),更加重的是叠加长提示词+thinking(这个也很迷,好像改参数也不能彻底关掉)的参数配置下,经常会输出超时。个人的验证方法是切输出快速的不同api源模型(比如minimax系列)看跑通的情况,看是工作流配置问题还是服务稳定性问题,再针对性解决。