Quaderno Jupyter accelerato dalla GPU

Jupyter Notebook è un moderno ambiente di sviluppo ampiamente utilizzato per l'apprendimento automatico e l'informatica. Questo software consente di eseguire codice Python direttamente da un'interfaccia web e di vedere immediatamente i risultati. Tuttavia, c'è un problema: il codice viene eseguito sulla CPU. Se si desidera che funzioni sulla GPU, è necessario creare un ambiente virtuale separato. In questa guida vi mostreremo come fare.

Installare Anaconda

Iniziate installando la distribuzione Anaconda Python, che contiene strumenti per la gestione degli ambienti virtuali. Scaricate lo script di shell:

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

Rendere questo script eseguibile:

chmod a+x Anaconda3-2023.09-0-Linux-x86_64.sh

Eseguire l'installazione:

./Anaconda3-2023.09-0-Linux-x86_64.sh

Durante il processo, il sistema chiederà di leggere il contratto d'uso e di chiarire alcuni dettagli dell'installazione.

Installare CUDA®

Il passo successivo consiste nell'installare l'ultima versione del toolkit NVIDIA® CUDA®. È possibile ottenere ulteriori informazioni visitando la nostra guida passo-passo Installare CUDA® toolkit in Linux. Il modo più semplice per farlo è eseguire i seguenti comandi. Ottenere un file pin per il repository CUDA:

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin

Posizionare questo file in una directory di configurazione standard di apt:

sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600

Scaricare una copia locale del repository CUDA® come singolo pacchetto DEB:

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda-repo-ubuntu2204-12-3-local_12.3.2-545.23.08-1_amd64.deb

Installare il pacchetto scaricato:

sudo dpkg -i cuda-repo-ubuntu2204-12-3-local_12.3.2-545.23.08-1_amd64.deb

Creare una coppia di chiavi GPG per lavorare con un repository CUDA® locale:

sudo cp /var/cuda-repo-ubuntu2204-12-3-local/cuda-*-keyring.gpg /usr/share/keyrings/

Aggiornare la cache dei pacchetti:

sudo apt-get update

Installare il toolkit CUDA® usando il gestore apt standard:

sudo apt-get -y install cuda-toolkit-12-3

Riavviare il server:

sudo shutdown -r now

Ricollegarsi alla sessione SSH con il port forwarding. È necessario inoltrare la porta 8888 a localhost 127.0.0.1:8888. Per ulteriori informazioni, consultare questo articolo.

Dopo il riavvio, creare un ambiente virtuale separato per le attività di GPU Computing:

conda create --name gpu_env python==3.8

Installiamo i pacchetti aggiuntivi:

conda install -c anaconda tensorflow-gpu keras-gpu

Siate pazienti; l'operazione può richiedere fino a 30 minuti. Ora siamo pronti ad aggiungere l'ambiente creato all'elenco disponibile.

python -m ipykernel install --user --name gpu_env --display-name "Python (GPU)"

Installare torch con il supporto CUDA®. Questi pacchetti sono necessari per eseguire gli esempi di codice:

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118

Eseguire il blocco note Jupyter

È possibile eseguire questo software con un solo comando:

(base) $ jupyter notebook

Aprite l'interfaccia web utilizzando il link e il token visualizzati:

http://127.0.0.1:8888/?token=[put_your_own_token_from_console]

Testate l'installazione con un piccolo codice che verifica la disponibilità di CUDA:

import torch
torch.cuda.is_available()

Se tutto è a posto, dopo l'esecuzione si otterrà il valore True. È anche possibile visualizzare tutte le GPU NVIDIA® presentate:

import subprocess
def get_gpu_info():
    try:
        return subprocess.check_output("nvidia-smi --query-gpu=gpu_name --format=csv,noheader", shell=True).decode('utf-8')
    except Exception as e:
        print(f"Error: {str(e)}")
        return None
print(get_gpu_info())

Vedere anche:

• StarCoder: il vostro assistente di codifica locale
• Open WebUI: Tutto in uno
• Come funziona Ollama