SD容器化部署

面对在容器化环境中进行 Stable Diffusion WebUI 的部署,容器镜像往往高达几十 GB,在进行模型部署时,往往需要等待 15~20 分钟才能部署一套文生图、图生图的 AI 应用。有时候我们不得不采用提前预置 GPU 实例,以满足实时或近实时推理的需求,这就提升了 Stable Diffusion WebUI 的成本。此方案是通过利用 EFS 共享文件系统来加速 Stable Diffusion WebUI 部署推理。通过实验可以观察到有数倍的部署加速效果。特别适用于企业级客户对文生图推理应用的场景。
同理,只要是文件存储,且能达到高性能,在国内云厂商理论上是可以的

问题是?

如果我运行多个实例怎么办(最好的办法还是从这里拷贝环境到目标机器运行)
或者就是上 CPFS 高性能高带宽的存储
 
  1. 模型放在 OSS NAS CPFS 上挂载是完全没有问题的,根据自己要求来
  1. 基础环境
    1. pm2 进程管理
    2. 主程
    3. sd webui(需要加启动引导脚本来优化)
    4. 模型(挂载上 100G 基本都够用了,根据性能自行选择)
    5. 容器启动后脚本引启动(加载模型 调整参数)
Loading...
目录
文章列表
王小扬博客
产品
Think
Git
软件开发
计算机网络
CI
DB
设计
缓存
Docker
Node
操作系统
Java
大前端
Nestjs
其他
PHP