Stable diffusion web ui のエクステンション mov2movでうまく出力する方法です。
私が行って、うまくいったケースを紹介します。
mov2mov とは
stable diffusion web ui のエクステンション
https://github.com/Scholar01/sd-webui-mov2mov
コードを読んでみたところ、videoのをフレームごとにキャプチャして、画像として取りだし、それをimg2imgして、もう一度、videoファイルとして保存してる、ようである。
画像、動画の取り回しには、OpenCV が用いられているようです。
レシピ
- model: anything_V4.5
- VAE: none
- prompt : a dancing girl
- negative prompt :bad-picture-chill-75v
- mov2mov mp4 famous tiktok dancing https://www.douyin.com/video/7111592075606461703
- Width,Height: same of source
- Generate Movie Mode: MP4V
- Noise multiplier: 0.89
- Movie Frames: same of source
- ControlNet1: canny
- ControlNet2: openpose
メモ
- サイズ、フレーム数はもとのMP4と同じに
- Noise multiplierが重要、あれこれ試す必要あり
- ControlNetは2個は必要。1個ではうまくいかなかった
- このファイルで出力に6時間ぐらいかかった
完成
How to output well with extension mov2mov for stable diffusion web ui.
I’ll go ahead and show you a successful case.
What is mov2mov?
extension for stable diffusion web ui
https://github.com/Scholar01/sd-webui-mov2mov
I read the code, and it seems to capture the video frame by frame, extract it as an image, img2img it, and save it again as a video file.
It seems that OpenCV is used to handle the images and videos.
recipe
- Model: any_V4.5
- VAEs: none
- Prompt: dancing girl
- Negative prompt: bad-picture-chill-75v
- mov2mov mp4 famous tiktok dance https://www.douyin.com/video/7111592075606461703
- width, height: same as source
- Movie mode generation: MP4V
- Noise multiplier: 0.89
- Movie frame: same as source
- ControlNet1: Canny
- ControlNet2: Open pose
memo
- Same size and number of frames as the original MP4
- Noise multiplier is important, some experimentation required
- Two ControlNets are required. one didn’t work well
- This file took about 6 hours to output
- complete
MY SNS
- twitter https://twitter.com/toyboyninja
- pinterest https://www.pinterest.jp/toyboy_ninja/
- Civitai https://civitai.com/user/toyboyninja