最近、Stable Video Diffusion(以下SVD)で動画生成を楽しんでおります。
ComfyUIのおかげで、GTX 1080(8GB)というロースペックのグラボでも作ることができて感激する日々 (-人-)アリガタヤ
(img2vidの場合、)静止画1枚から動画が作れる
素晴らしい!・・・けど
いかんせん14フレーム(SVD_XTでも25フレーム)と尺が短い上、フレームレートも6fpsなので動きはガクガク
まぁまだ出たばかりでこれから発展する分野だから、これだけでもスゴイよね~と思っておりました。
ところが
X(Twitter)で公開されている方の作品を見ると、動きはスムーズだし、解像感がなんか違う。512pxの綺麗さじゃないよね。
もしかして
アップスケールしてる?(・_・)
「SVD Upscale」でググってみた
ということで、「SVD Upscale」でググってみるとこちらの質問サイトがヒット
そこで回答されている方がリンクを貼ってくれていたこちらのサイト
Stable Video Diffusion + AnimateDiff video2video + FaceSwap + フレーム補完 - work4ai
Stable Video Diffusion + Face Swap + フレーム補間にAnimateDiffを使ったvideo2videoの処理を加える ComfyUI_workflow SVD_animatediff_video2video.json
おぉ!まさにこれや ✧(✪д✪)✧キラーン
しかも顔修正まで組み込まれてる!すげぇー
公開されてるworkflowのjsonをありがたく使わせていただきました。
結果的にはGTX 1080のしょぼスペックでも約3時間で生成できました。
感謝!!!
ただ…
Stability Matrixを使って試みたものの、小生の汚れた環境のせいでしょうか
次々に襲い掛かるエラーの連続でまるっと10時間を費やしまして・・・
以下、環境構築し直すときのための対処法備忘録デス
コメント