Queste cifre sono stime, perché le grandi aziende d’ia non forniscono dettagli sulle procedure d’addestramento dei loro sistemi.

È chiaro, tuttavia, che la domanda di calcolo sta crescendo esponenzialmente, nonostante la sempre maggiore consapevolezza dell’opinione pubblica sui rischi legati allo sviluppo dell’ia e la crescente opposizione alla costruzione di data center.

Anche se i chip dei computer stanno diventando più veloci e più efficienti dal punto di vista energetico, questi miglioramenti sono costantemente superati dal vorace appetito dell’ia. Di conseguenza, l’energia necessaria per addestrare i modelli più grandi sta raddoppiando ogni anno.

I ricercatori prevedono che entro il 2030 addestrare i più grandi modelli d’ia richiederà un consumo d’energia paragonabile a quello attuale di New York. Gli esperti d’energia stimano che nel 2030 i data center consumeranno il 12 per cento dell’elettricità degli Stati Uniti.

Il motivo di questa crescita esponenziale risiede in una regolarità empirica che l’industria tecnologica definisce “legge di scala”. Negli ultimi dieci anni i ricercatori hanno infatti constatato che addestrare l’ia con più calcoli e più dati ha prodotto regolarmente sistemi più potenti.

Per dimostrare come la crescita dei sistemi d’ia migliori le prestazioni, abbiamo dato lo stesso prompt alle prime tre generazioni di Gpt.

Il prompt era: “Albert Einstein è noto per…”.

Anche se è stato addestrato con 18 miliardi di miliardi di calcoli, Gpt 1 risponde con un dialogo senza senso.

A volte le frasi non hanno senso e commette molti errori, ma la risposta di Gpt 2 rappresenta un evidente miglioramento rispetto a Gpt 1.

Gpt 3.5 risponde in modo per lo più sensato. A ogni aumento della scala, la risposta dell’ia migliora.

È difficile dire esattamente quanto l’ia sia migliorata in rapporto alle risorse impiegate nell’addestramento, perché si tratta di capacità eterogenee e difficili da misurare.

Ma i progressi non si limitano alla scrittura. I modelli più recenti hanno ottenuto punteggi migliori nell’Epoch capabilities index, che combina i risultati in vari campi, tra cui matematica, programmazione, conoscenza generale e ragionamento concettuale.

Le prestazioni dei modelli d’ia sono costantemente in crescita e le aziende stanno facendo a gara per migliorarle ancora. Questa corsa è alimentata dalla convinzione che con più calcoli e più dati si produrrà un’ia più potente.

E questo significa più matematica.

Il numero di operazioni necessarie per addestrare l’ia è chiamato training compute, calcolo di addestramento.

Con un po’ di approssimazione, questo dipende da due fattori: le dimensioni del modello d’ia e la quantità di dati con cui viene addestrato. E sono entrambi enormi.

I più grandi modelli linguistici contengono migliaia di miliardi di numeri (noti come parametri) usati per prevedere la parola successiva all’interno di una frase. Più precisamente, i modelli cercano di prevedere il token successivo, che può essere anche un frammento di una parola.

Possiamo immaginare questi parametri come migliaia di miliardi di manopole, che sulla base delle loro impostazioni individuano delle regolarità nei dati. All’inizio le manopole sono impostate su valori casuali, quindi in pratica l’ia tira a indovinare.

Ascolta | Artificiale
Capire le intelligenze artificiali senza farsi prendere dal panico. Un podcast di Internazionale con Alberto Puliafito

Nel corso dell’addestramento all’intelligenza artificiale viene data in pasto una parte di una frase, e le manopole sono regolate usando una serie di calcoli matematici per migliorare la capacità di prevedere la parola successiva. Questo procedimento viene poi ripetuto per migliaia di miliardi di parole.

Per regolare una singola manopola bastano poche addizioni e moltiplicazioni. Ma quando migliaia di miliardi di manopole vengono regolate migliaia di miliardi di volte, i calcoli si moltiplicano esponenzialmente.

Questa è solo la prima fase dell’addestramento di un modello linguistico, nota come pre-addestramento. È seguita da ulteriori passaggi di calcolo che affinano il comportamento dell’ia e migliorano la sua capacità di scrivere codice di programmazione e risolvere problemi matematici.

Il numero stimato di calcoli usati per addestrare Gpt 6 Astra (quasi un miliardo di miliardi di miliardi) è enorme. Per fare un paragone, forse non molto utile, un corpo umano adulto contiene mediamente tra uno e due miliardi di miliardi di miliardi di molecole.

“Il metodo che usiamo oggi per addestrare i modelli d’ia generativa è basato sulla forza bruta”, afferma Sasha Luccioni, cofondatrice e responsabile scientifica della società di consulenza aziendale Sustainable Ai Group.

Il procedimento prevede la costruzione di modelli sempre più grandi, che usano quanti più dati e quanta più capacità di calcolo possibili, spiega.

Questo metodo ha ottenuto finora risultati eccezionali. Ma è anche il motivo per cui l’addestramento dell’ia richiede un aumento continuo del numero dei calcoli.

Come fanno le aziende d’ia a svolgere tutti questi calcoli matematici?

“Nessun singolo computer può gestire tutti quei dati, quindi bisogna spezzettarli”, spiega Benjamin Lee, docente d’ingegneria all’università della Pennsylvania, che studia come rendere i data center più efficienti dal punto di vista energetico.

Le aziende prima suddividono la gigantesca quantità di dati d’addestramento in blocchi più piccoli. Poi li spediscono a decine di migliaia di chip per l’ia che lavorano in parallelo come un gigantesco supercomputer all’interno di enormi data center.

Per far funzionare questi chip giorno e notte serve una quantità colossale di elettricità. I data center usano poi altra energia per raffreddarli, connetterli tra loro e coordinare i loro calcoli.

“Data center in realtà è un termine improprio: dovrebbero chiamarsi compute center, centri di calcolo”, dice Jaime Sevilla, dirigente della Epoch Ai, un’organizzazione non profit che studia le capacità e il consumo energetico dell’ia.

La Epoch Ai ha stimato che l’addestramento del modello Grok 4 della xAi ha richiesto circa cinquecento milioni di miliardi di miliardi di calcoli, è costato circa 490 milioni di dollari in hardware ed elettricità, e ha emesso l’equivalente di 150mila tonnellate di anidride carbonica (più o meno l’impronta carbonica di diecimila statunitensi).

Un portavoce della OpenAi ha dichiarato che l’azienda sta misurando la propria impronta carbonica e vuole essere più trasparente: “Addestrare modelli più potenti richiede maggiore capacità di calcolo, ma ogni investimento nell’addestramento produce vantaggi per un numero sempre maggiore di persone e stiamo costruendo modelli più efficienti dal punto di vista energetico”.

Mentre l’addestramento di un modello d’ia rappresenta un costo una tantum, i costi per farlo funzionare, chiamati “costi d’inferenza”, sono continuativi. Questi dipendono dalle dimensioni del modello d’ia e da quanto è usato.

I costi d’inferenza stanno crescendo rapidamente perché i modelli d’ia stanno diventando sempre più grandi. Gli attuali modelli d’ia, che “ragionano” prima di rispondere a una domanda, prendono una grande quantità di appunti su uno spazio di memoria temporaneo, e gli agenti di ia possono lavorare a ciclo continuo producendo pagine e pagine di testo per risolvere un problema.

Un esempio estremo: a settembre per risolvere uno dei problemi del millennio (le sette questioni irrisolte nel campo della matematica), gli agenti ia della OpenAi hanno inviato 4,9 milioni di messaggi in cinque giorni, producendo l’equivalente di centinaia di miliardi di parole. Calcolando il valore di questo lavoro sulla base delle tariffe pubbliche del suo modello Astra, i costi d’inferenza ammonterebbero a quindici milioni di dollari.

Prima dell’arrivo di ChatGpt, la maggior parte degli strumenti d’ia svolgeva compiti limitati, come riconoscere lo spam, analizzare le recensioni di prodotti o suggerire il prossimo film da guardare.

La moderna ia generativa, invece, è progettata per usi generici e per cercare di rispondere a qualsiasi domanda.

“La sua genericità ha reso i modelli molto più grandi e molto più costosi da addestrare”, afferma Lee.

Fino al 2020 le grandi aziende tecnologiche pensavano di poter compensare i consumi elettrici dei loro data center con investimenti nell’energia eolica e solare. Google si era posta l’obiettivo di compensare le emissioni di anidride carbonica legate ai suoi consumi elettrici entro il 2030.

Ma la crescita del settore dell’ia generativa, e la conseguente frenetica costruzione di data center che usano quantità di elettricità esponenzialmente più alte, stanno rendendo irraggiungibile l’obiettivo della neutralità carbonica. Molti data center sono alimentati da generatori a gas naturale, e alcuni prevedono di ricorrere in futuro a reattori nucleari.

Oggi Google dichiara che la sua ambizione di raggiungere la neutralità carbonica “è un percorso continuo e in salita” a causa della rapida crescita delle sue infrastrutture.

Secondo Lee, anche se in futuro i data center diventassero più efficienti dal punto di vista energetico, sarebbe impossibile ottenere tutta l’energia necessaria da fonti rinnovabili come il solare e l’eolico.

“I numeri”, dice, “sono semplicemente troppo grandi”. ◆

(Traduzione di Francesco De Lellis)