通过Ollama部署,支持的Flux-Schnell生图和联网搜索。部署Open-WebUI,端口:8080,使用API需启动后,关机设置端口,Ollama端口:8000,vLLM端口:11434。
QwQ-32B满血版,需要80G以上显存可运行,如单卡不足需要选用多卡,模型为远程加载,需要一定时间。实际应用请自行注册,体验账号:tom@aivinla.com 密码:12345
这是一个ChatGLM4-9B-Chat的网页Demo, 参考自Self LLM的部署文档。