SD容器化部署
面对在容器化环境中进行 Stable Diffusion WebUI 的部署,容器镜像往往高达几十 GB,在进行模型部署时,往往需要等待 15~20 分钟才能部署一套文生图、图生图的 AI 应用。有时候我们不得不采用提前预置 GPU 实例,以满足实时或近实时推理的需求,这就提升了 Stable Diffusion WebUI 的成本。此方案是通过利用 EFS 共享文件系统来加速 Stable Diffusion WebUI 部署推理。通过实验可以观察到有数倍的部署加速效果。特别适用于企业级客户对文生图推理应用的场景。
‣
同理,只要是文件存储,且能达到高性能,在国内云厂商理论上是可以的
问题是?
如果我运行多个实例怎么办(最好的办法还是从这里拷贝环境到目标机器运行)
或者就是上 CPFS 高性能高带宽的存储
- 模型放在 OSS NAS CPFS 上挂载是完全没有问题的,根据自己要求来
- 基础环境
- pm2 进程管理
- 主程
- sd webui(需要加启动引导脚本来优化)
- 模型(挂载上 100G 基本都够用了,根据性能自行选择)
- 容器启动后脚本引启动(加载模型 调整参数)
Loading...