GitHub - levihsu/OOTDiffusion: OOTDiffusion: 基于服装融合的潜在扩散的官方实现，用于可控虚拟试穿

OOTDiffusion

ootdiffusion

这个存储库是OOTDiffusion的官方实现

尝试我们的OOTDiffusion

🤩 如果您觉得有趣，请给我一个星星！

OOTDiffusion: 基于服装融合的潜在扩散，用于可控虚拟试穿
Yuhao Xu, Tao Gu, Weifeng Chen, 和 Chengcai Chen
Xiao-i Research

我们论文的早期版本现已发布！arXiv

🥳🥳 我们基于VITON-HD（半身）和Dress Code（全身）训练的模型检查点已发布！

• 🤗 Hugging Face链接
• 我们在预处理中使用了humanparsing和openpose的检查点。如果遇到相关环境问题，请参考它们的指南
• 请下载clip-vit-large-patch14到_checkpoints_文件夹
• 我们只在Linux（Ubuntu 22.04）上测试了我们的代码和模型

安装

安装

1. 克隆存储库

git 克隆 https://github.com/levihsu/OOTDiffusion

1. 创建一个 conda 环境并安装所需的软件包

conda create -n ootd python==3.10 conda activate ootd pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 numpy==1.24.4 scipy==1.10.1 scikit-image==0.21.0 opencv-python==4.7.0.72 pillow==9.4.0 diffusers==0.24.0 transformers==4.36.2 accelerate==0.26.1 matplotlib==3.7.4 tqdm==4.64.1 gradio==4.16.0 config==0.5.1 einops==0.7.0 ninja==1.10.2

推断

推断

1. 半身模特

cd OOTDiffusion/run python run_ootd.py --model_path <model-image-path> --cloth_path <cloth-image-path> --scale 2.0 --sample 4

1. 全身模型

服装类别必须配对：0 = 上半身；1 = 下半身；2 = 连衣裙

cd OOTDiffusion/run python run_ootd.py --model_path <model-image-path> --cloth_path <cloth-image-path> --model_type dc --category 2 --scale 2.0 --sample 4

引用

引用

@misc{xu2024ootdiffusion,
      title={OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on}, 
      author={Yuhao Xu and Tao Gu and Weifeng Chen and Chengcai Chen},
      year={2024},
      eprint={2403.01779},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

待办事项清单

待办事项清单

• 论文
• Gradio 演示
• 推理代码
• 模型权重
• 训练代码