Stable Diffusion: Riffusion

Nei nostri precedenti articoli abbiamo esplorato le affascinanti capacità della Diffusione stabile di generare immagini accattivanti. Tuttavia, è importante notare che questa potente rete neurale generativa ha ancora di più da offrire.

Riffusion è un modello di Stable Diffusion per la creazione e l'editing di musica. Con Riffusion è possibile generare uno spettrogramma di un segmento musicale desiderato e trasformarlo senza sforzo in un estratto musicale. Installiamo Riffusion su un server LeaderGPU e proviamolo in azione.

Prerequisiti

Iniziate aggiornando il repository della cache dei pacchetti e i pacchetti installati:

sudo apt update && sudo apt -y upgrade

Non dimenticate di installare i driver NVIDIA® usando il comando autoinstall o manualmente, usando la nostra guida passo-passo:

sudo ubuntu-drivers autoinstall

Riavviare il server:

sudo shutdown -r now

Per creare un ambiente virtuale, gli sviluppatori suggeriscono di utilizzare uno strumento chiamato Anaconda. Si può anche usare venv, di cui abbiamo parlato nel tutorial sulle utilità di sistema di Linux. Scaricare lo script di installazione di Anaconda usando curl:

curl --output anaconda.sh https://repo.anaconda.com/archive/Anaconda3-5.3.1-Linux-x86_64.sh

Renderlo eseguibile:

chmod +x anaconda.sh

Ed eseguire:

./anaconda.sh

Rispondere SI a tutte le domande, tranne l'ultima (installare Microsoft VSCode). Quindi, accedere nuovamente alla console SSH e creare un nuovo ambiente virtuale con Python v3.9:

conda create --name riffusion python=3.9

Attivare il nuovo ambiente virtuale:

conda activate riffusion

Se si desidera utilizzare formati musicali diversi dal wav, è necessario installare anche il set di librerie FFmpeg:

conda install -c conda-forge ffmpeg

Installare Riffusion

Clonare il repository di Riffusion:

git clone https://github.com/riffusion/riffusion.git

Aprire la cartella scaricata:

cd riffusion

Apportiamo alcune modifiche al file dei requisiti. In questo modo si evitano errori di compatibilità con Torch:

nano requirements.txt

Trovare e correggere le versioni dei pacchetti:

diffusers==0.9.0
torchaudio==2.0.1

Salvare le modifiche e procedere con la preparazione di un ambiente virtuale. Il comando seguente installa tutti i pacchetti necessari:

python -m pip install -r requirements.txt

Infine, è possibile aprire un "parco giochi". Si tratta di una semplice interfaccia web che aiuta a conoscere meglio le funzionalità di Riffusion:

python -m riffusion.streamlit.playground

Aprite il vostro browser preferito e inserite l'indirizzo http://[SERVER_IP]:8501/

Prova un'area di gioco

Ora è possibile creare musica utilizzando i messaggi di testo e modificando gli altri parametri:

Inoltre, è possibile eseguire alcune operazioni complesse, come la suddivisione dell'audio in componenti separati. Ad esempio, è possibile estrarre la voce da Bohemian Rhapsody dei Queen:

Ricordate che questo è solo un esempio di come Riffusion può essere utilizzato. Creando la propria applicazione, si possono ottenere risultati molto più accattivanti. I potenti server di LeaderGPU si occuperanno dei calcoli.

Vedi anche:

• Stable Video Diffusion
• Easy Diffusion UI
• AudioCraft di MetaAI: creare musica per descrizione