Applicazioni e Guide

Stable Video Diffusion

Le reti neurali generative possono creare diversi tipi di contenuti. Stable Diffusion è stata creata per generare immagini a partire da descrizioni testuali. Tuttavia, può essere utilizzata anche per creare musica, suoni e persino video. Oggi vi mostreremo come creare brevi video da una singola immagine utilizzando Stable Diffusion con WebUI e ComfyUI.

Installare Stable Diffusion

Iniziamo ad installare Stable Diffusion seguendo la nostra guida passo passo. Dopo l'installazione, interrompere l'esecuzione dello script webui.sh premendo Ctrl + C e chiudere la connessione SSH. Il sistema non consente di installare estensioni con le opzioni --listen (--share) abilitate. Ciò significa che è necessario impostare il port forwarding (7860 e 8189) dal computer locale al server remoto. La prima porta è necessaria per la WebUI e la seconda per ComfyUI.

Ad esempio, in PuTTY, è necessario aprire Connection >> SSH >> Tunnels e aggiungere due nuove porte inoltrate, come mostrato nella seguente schermata:

Ora è possibile ricollegarsi al server remoto ed eseguire nuovamente ./webui.sh.

Aprire questo URL nel browser:

http://127.0.0.1:7860

Navigare fino a Extensions >> Available, quindi fare clic sul pulsante Load from::

Il sistema scaricherà il file JSON con tutte le estensioni disponibili. Digitare ComfyUI nella casella di ricerca e fare clic sul pulsante Install:

La pagina web verrà ricaricata e nel pannello principale verrà visualizzata una nuova scheda ComfyUI. Passare ad essa e fare clic su Install ComfyUI:

Al termine dell'installazione, interrompere nuovamente l'esecuzione dello script webui.sh premendo Ctrl + C.

Installare il modello di diffusione video stabile

Aprire la directory del modello:

cd stable-diffusion-webui/models/Stable-diffusion/

Scaricare il modello completo di Diffusione video stabile:

curl -L https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true --output svd_xt.safetensors

Tornare alla directory iniziale:

cd ~/

Ed eseguire nuovamente il servizio Stable Diffusion:

./webui.sh

Scaricare l'esempio del flusso di lavoro Stable Video Diffusion in formato JSON. Cancellare il flusso di lavoro predefinito di ComfyUI premendo Clear, quindi Load l'esempio scaricato:

Assicurarsi di aver selezionato il modello corretto nel nodo Image Only Checkpoint Loader (img2vid model):

Fare clic sul pulsante choose file to upload nel nodo Load Image e selezionare una singola immagine che la rete neurale generativa trasformerà in un video:

Provare a generare un video con tutti i parametri predefiniti facendo clic sul pulsante Queue Prompt:

Al termine del processo, si otterrà il video in formato WEBP nel nodo SaveAnimatedWEBP. Fare clic con il tasto destro del mouse sul video generato e scegliere Save Image:

Ecco il risultato finale GIF.

Risoluzione dei problemi

Se viene visualizzato un messaggio di errore: ModuleNotFoundError: No module named 'utils.json_util'; 'utils' is not a package, seguire i seguenti passaggi:

Rinominare la directory utils in utilities:

mv /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utils /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/utilities

Modificare custom_node_manager.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/app/custom_node_manager.py

Sostituire questa riga:

from utils.json_util import merge_json_recursive

con:

from utilities.json_util import merge_json_recursive

Salvare il file (Ctrl + O) e uscire dall'editor (Ctrl + X). Quindi modificare main.py:

nano /home/usergpu/stable-diffusion-webui/extensions/sd-webui-comfyui/ComfyUI/main.py

Sostituire questa riga:

import utils.extra_config

con:

import utilities.extra_config

Salvare il file, uscire dall'editor ed eseguire nuovamente il servizio Stable Diffusion:

./webui.sh

Vedi anche:

Aggiornato: 04.04.2025

Pubblicato: 22.01.2025