Tensorflow ResNet-50 benchmark

Tensorflow™ ResNet-50 benchmark

LeaderGPU® è un servizio che è entrato nel mercato del GPU Computing con intenzioni serie da un bel po' di tempo. La velocità di calcolo per il modello ResNet-50 in LeaderGPU® è 2,5 volte più veloce rispetto a Google Cloud e 2,9 volte più veloce rispetto ad AWS (i dati sono forniti per un esempio con 8x GTX 1080 rispetto a 8x Tesla® K80). Il costo del noleggio al minuto della GPU in LeaderGPU® parte da appena 0,02 euro, che è più di 4 volte inferiore al costo del noleggio in Google Cloud e più di 5 volte inferiore al costo in AWS (al 7 luglio 207).

Nel corso di questo articolo, testeremo il modello ResNet-50 in servizi popolari come LeaderGPU®, AWS e Google Cloud. Potrete vedere nella pratica perché LeaderGPU® supera in modo significativo i concorrenti rappresentati.

Tutti i test sono stati eseguiti utilizzando python 3.5 e Tensorflow-gpu 1.2 su macchine con GTX 1080, GTX 1080 TI e Tesla® P 100 con sistema operativo CentOS 7 installato e libreria CUDA® 8.0.

Per eseguire il test sono stati utilizzati i seguenti comandi:

git clone https://github.com/tensorflow/benchmarks.git

python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=?(Number of cards on the server) --model resnet50 --batch_size 32 (64, 128, 256, 512)

Istanze GTX 1080

Per il primo test, utilizziamo istanze con GTX 1080. I dati dell'ambiente di test (con batch di 32 e 64 dimensioni) sono forniti di seguito:

• Tipi di istanza: 2x GTX 1080, 4x GTX 1080, 8x GTX 1080
• Sistema operativo: CentOS 7
• CUDA® / cuDNN: 8.0 / 5.1
• Codice GitHub di TensorFlow™: b1e174e
• Benchmark GitHub hash: 9165a70
• Comando: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4,8) --model resnet50 --batch_size 32 (optional 64, 128,256, 512)
• Modello: ResNet50
• Data dei test: giugno 2017

I risultati del test sono mostrati nel seguente diagramma:

Istanze GTX 1080TI

Il passo successivo consiste nel testare le istanze con la GTX 1080 Ti. I dati dell'ambiente di test (con batch di dimensioni 32, 64 e 128) sono riportati di seguito:

• Tipi di istanza: ltbv21, ltbv18
• GPU: 2x GTX 1080TI, 4x GTX 1080TI
• Sistema operativo: CentOS 7
• CUDA® / cuDNN: 8.0 / 5.1
• Codice GitHub di TensorFlow™: b1e174e
• hash GitHub del benchmark: 9165a70
• Comando: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 (4) --model resnet50 --batch_size 32 (optional 64, 128,256, 512)
• Modello: ResNet50
• Data dei test: giugno 2017

I risultati del test sono mostrati nel seguente diagramma:

Istanza Tesla® P100

La fase finale consiste nel testare le istanze con Tesla® P100. I dati dell'ambiente di test sono riportati di seguito (con dimensioni dei batch 32, 64 e 128):

• Tipo di istanza: 2x NVIDIA® Tesla® P100
• Sistema operativo: CentOS 7
• CUDA® / cuDNN: 8.0 / 5.1
• TensorFlow™ hash GitHub: b1e174e
• hash GitHub del benchmark: 9165a70
• Comando: # python3.5 benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py --num_gpus=2 --model resnet50 --batch_size 32 (opzionale 64, 128, 256, 512)
• Modello: ResNet50
• Data del test: giugno 2017

I risultati del test sono mostrati nel seguente diagramma:

La tabella seguente rappresenta i risultati del test Resnet50 per Google cloud e AWS (dimensione del lotto 64):

* I dati forniti sono stati acquisiti dalle seguenti fonti:

https://www.tensorflow.org/performance/benchmarks#details_for_google_compute_engine_nvidia_tesla_k80 https://www.tensorflow.org/performance/benchmarks#details_for_amazon_ec2_nvidia_tesla_k80

Calcoliamo il costo e il tempo di elaborazione per 1.000.000 di immagini su ciascuna macchina LeaderGPU®, AWS e Google. Il conteggio è disponibile con una dimensione di batch di 64 per tutte le macchine.

** Il servizio cloud di Google non offre piani di pagamento al minuto. Il calcolo dei costi al minuto si basa sul prezzo orario ($ 5,645).

Come si evince dalla tabella, la velocità di elaborazione delle immagini nel modello ResNet-50 è massima con 8x GTX 1080 di LeaderGPU®, mentre:

• Il costo iniziale del noleggio presso LeaderGPU® parte da appena 1,28 euro, che è circa 2,77 volte inferiore rispetto alle istanze di 8x Tesla® K80 di Google Cloud e circa 4,38 volte inferiore rispetto alle istanze di 8x Tesla® K80 di Google AWS;
• il tempo di elaborazione è stato di 17 minuti e 32 secondi, ossia 2,5 volte più veloce rispetto alle istanze 8x Tesla® K80 di Google Cloud e 2,49 volte più veloce rispetto alle istanze 8x Tesla® K80 di Google AWS.

LeaderGPU® supera in modo significativo i suoi concorrenti sia in termini di disponibilità del servizio che di velocità di elaborazione delle immagini. Noleggiate una GPU con un pagamento al minuto in LeaderGPU® per risolvere diversi compiti nel minor tempo possibile!

LEGAL WARNING:

PLEASE READ THE LICENSE FOR CUSTOMER USE OF NVIDIA® GEFORCE® SOFTWARE CAREFULLY BEFORE AGREEING TO IT, AND MAKE SURE YOU USE THE SOFTWARE IN ACCORDANCE WITH THE LICENSE, THE MOST IMPORTANT PROVISION IN THIS RESPECT BEING THE FOLLOWING LIMITATION OF USE OF THE SOFTWARE IN DATACENTERS:

«No Datacenter Deployment. The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted.»

Customer may use the LeaderGPU® Services for blockchain processing.

BY AGREEING TO THE LICENSE AND DOWNLOADING THE SOFTWARE YOU GUARANTEE THAT YOU WILL MAKE CORRECT USE OF THE SOFTWARE AND YOU AGREE TO INDEMNIFY AND HOLD US HARMLESS FROM ANY CLAIMS, DAMAGES OR LOSSES RESULTING FROM ANY INCORRECT USE OF THE SOFTWARE BY YOU.