Le nuvole alternative stanno crescendo mentre le aziende cercano un accesso più economico alle GPU

C'è una crescente richiesta di nuvole alternative come mai prima d'ora.

Ad esempio: CoreWeave, fornitore di infrastrutture GPU che è nato come operazione di mining di criptovalute, questa settimana ha raccolto $1,1 miliardi in nuovi finanziamenti da investitori tra cui Coatue, Fidelity e Altimeter Capital. Il round porta la sua valutazione a $19 miliardi post-money e il totale raccolto a $5 miliardi in debiti ed equity - una cifra notevole per un'azienda che ha meno di dieci anni.

Non è solo CoreWeave.

Lambda Labs, che offre anche una serie di istanze di GPU ospitate in cloud, all'inizio di aprile ha assicurato un "veicolo di finanziamento a scopo speciale" fino a $500 milioni, mesi dopo aver chiuso un round Serie C da $320 milioni. Il non-profit Voltage Park, sostenuto dal miliardario delle criptovalute Jed McCaleb, lo scorso ottobre ha annunciato di investire $500 milioni in data center supportati da GPU. E Together AI, un host cloud GPU che conduce anche ricerca di intelligenza artificiale generativa, a marzo ha ottenuto $106 milioni in un round guidato da Salesforce.

Allora, perché tutta questa entusiasmo per - e denaro che affluisce nella - area delle nuvole alternative?

La risposta, come ci si potrebbe aspettare, è l'intelligenza artificiale generativa.

Mentre continuano i tempi del boom dell'IA generativa, aumenta anche la domanda di hardware per eseguire e addestrare modelli di intelligenza artificiale generativa su larga scala. Le GPU, architetturalmente, sono la scelta logica per l'addestramento, il perfezionamento e l'esecuzione dei modelli perché contengono migliaia di core che possono lavorare in parallelo per eseguire le equazioni algebriche lineari che compongono i modelli generativi.

Ma installare le GPU è costoso. Quindi, la maggior parte degli sviluppatori e delle organizzazioni si rivolgono al cloud invece.

I giganti dello spazio del cloud computing - Amazon Web Services (AWS), Google Cloud e Microsoft Azure - offrono una vasta gamma di istanze di GPU e hardware specializzati ottimizzati per carichi di lavoro di intelligenza artificiale generativa. Ma per almeno alcuni modelli e progetti, le nuvole alternative possono risultare essere più economiche - e offrire una migliore disponibilità.

Su CoreWeave, affittare un Nvidia A100 40GB - una scelta popolare per l'addestramento e l'inferenza dei modelli - costa $2,39 all'ora, che corrisponde a $1.200 al mese. Su Azure, la stessa GPU costa $3,40 l'ora, o $2.482 al mese; su Google Cloud, costa $3,67 all'ora, o $2.682 al mese.

Dato che i carichi di lavoro di intelligenza artificiale generativa vengono solitamente eseguiti su cluster di GPU, i delta di costo crescono rapidamente.

"Aziende come CoreWeave partecipano a un mercato che chiamiamo fornitori di 'GPU come servizio' specializzato," ha detto Sid Nag, VP dei servizi e delle tecnologie cloud presso Gartner, a TechCrunch. "Date le alte richieste di GPU, offrono un'alternativa agli iperscalers, dove hanno preso le GPU Nvidia e fornito un altro percorso al mercato e l'accesso a quelle GPU."

Nag fa notare che persino alcune grandi aziende tech hanno iniziato a fare affidamento su fornitori di cloud alternativi mentre si scontrano con sfide di capacità di calcolo.

A giugno dello scorso anno, CNBC ha riportato che Microsoft aveva firmato un accordo da miliardi di dollari con CoreWeave per garantire che OpenAI, il produttore di ChatGPT e un partner stretto di Microsoft, avrebbe avuto la potenza di calcolo adeguata per addestrare i propri modelli di intelligenza artificiale generativa. Nvidia, fornitore della maggior parte dei chip di CoreWeave, vede questo come una tendenza auspicabile, forse per motivi di leva; si dice che abbia dato a alcuni fornitori di cloud alternativi accesso privilegiato alle sue GPU.

Lee Sustar, analista principale presso Forrester, vede fornitori di cloud come CoreWeave che hanno successo in parte perché non hanno il "bagaglio" infrastrutturale con cui devono confrontarsi i fornitori incumbent.

"Data la dominanza degli iperscalers del mercato complessivo del cloud pubblico, che richiede vasti investimenti in infrastrutture e una gamma di servizi che generano pochi o nessun ricavo, i challenger come CoreWeave hanno l'opportunità di avere successo con un focus sui servizi AI premium senza il peso degli investimenti a livello di iperscaler nel complesso," ha detto.

Ma questa crescita è sostenibile?

Sustar nutre dei dubbi. Crede che l'espansione dei fornitori di cloud alternativi sarà condizionata dalla capacità di continuare a mettere in linea le GPU in grandi volumi e offrirle a prezzi competitivamente bassi.

Competere sui prezzi potrebbe diventare una sfida in futuro mentre gli incumbent come Google, Microsoft e AWS intensificano gli investimenti in hardware personalizzati per eseguire e addestrare modelli. Google offre i suoi TPU; Microsoft ha recentemente presentato due chip personalizzati, Azure Maia e Azure Cobalt; e AWS ha Trainium, Inferentia e Graviton.

"Gli iperscalers sfrutteranno il proprio silicio personalizzato per mitigare le loro dipendenze da Nvidia, mentre Nvidia guarderà a CoreWeave e ad altri cloud AI centrati sulle GPU," ha detto Sustar.

C'è anche il fatto che, mentre molti carichi di lavoro di intelligenza artificiale generativa funzionano meglio sulle GPU, non tutti i carichi di lavoro ne hanno bisogno, in particolare se non sono sensibili al tempo. Le CPU possono eseguire i calcoli necessari, ma tipicamente più lentamente rispetto alle GPU e all'hardware personalizzato.

Più esistenzialmente, c'è la minaccia che la bolla dell'IA generativa possa scoppiare, il che lascerebbe ai fornitori montagne di GPU e non abbastanza clienti che le richiedono. Ma il futuro sembra roseo a breve termine, dicono Sustar e Nag, entrambi si aspettano un flusso costante di nuvole emergenti.

"Le startup cloud orientate alle GPU daranno ai [incumbents] molta concorrenza, specialmente tra i clienti che sono già multi-cloud e possono gestire la complessità della gestione, della sicurezza, del rischio e delle conformità su più cloud," ha detto Sustar. "Quei tipi di clienti cloud sono a loro agio nel provare un nuovo cloud AI se ha una leadership credibile, un solido sostegno finanziario e GPU senza tempi di attesa."