Nonostante il loro prezzo superiore ai $30.000, le GPU Nvidia H100 sono molto richieste, tanto da essere spesso esaurite. Google Cloud, dopo aver annunciato in anteprima la sua macchina virtuale A3 GPU alimentata da H100 all’inizio dell’anno, ha ora annunciato la disponibilità generale del prodotto al suo Cloud Next conference.
Dettagli sulle GPU Nvidia H100
Le GPU Nvidia H100 sono diventate un prodotto molto richiesto nonostante il loro elevato costo. Questa domanda ha spinto Google Cloud a introdurre le sue macchine virtuali A3 GPU, che combinano i chip di Nvidia con le unità di elaborazione dell’infrastruttura (IPU) personalizzate da 200 Gbps di Google.
Lancio e disponibilità dell’A3
Durante la conferenza Cloud Next, Google ha annunciato che il suo supercomputer A3 GPU sarà generalmente disponibile il prossimo mese. Tuttavia, resta da vedere se Google Cloud sarà in grado di soddisfare la domanda per questi chip, dato che sono focalizzati sulla formazione e l’implementazione di modelli AI generativi e di grandi modelli linguistici.
Prestazioni e caratteristiche dell’A3
Quando Google Cloud ha annunciato l’A3 l’anno scorso, ha dichiarato che offrirebbe fino a 26 exaflops di prestazioni AI e, grazie in parte alle IPU personalizzate, fino a 10 volte più larghezza di banda di rete rispetto alle macchine A2 di generazione precedente. Mark Lohmeyer, VP e GM per l’informatica e l’infrastruttura ML presso Google Cloud, ha sottolineato che l’A3 è stato progettato specificamente per formare, ottimizzare e implementare carichi di lavoro AI generativi estremamente esigenti e grandi modelli linguistici. Ha inoltre evidenziato l’utilizzo di innovazioni uniche di Google, come le tecnologie di rete e le offload di elaborazione dell’infrastruttura, che supportano la vasta scala e le prestazioni richieste da questi carichi di lavoro.