GPU vs. CPU: architettura, prestazioni e costi a confronto (guida 2026)

GPU vs. CPU: la risposta rapida

Una CPU e ottimizzata per gestire task complessi in sequenza — logica ramificata, sistemi operativi, query su database. Una GPU e ottimizzata per eseguire migliaia di operazioni semplici simultaneamente — il tipo di matematica che guida l’addestramento AI, il rendering grafico e le simulazioni scientifiche. Se il carico di lavoro comporta calcolo parallelo su larga scala, una GPU superera nettamente una CPU. Se il carico di lavoro richiede un processo decisionale sofisticato, gerarchie di memoria profonde o prestazioni single-threaded a bassa latenza, una CPU e lo strumento giusto. Ma la vera risposta e piu sfumata di “GPU = veloce, CPU = lenta”. Si continui a leggere per capire quando ciascun processore vince, quanto costano realmente e perche i sistemi moderni hanno bisogno di entrambi.

Architettura CPU spiegata (in parole semplici)

Si pensi a una CPU come a una torre di controllo del traffico aereo. All’interno di quella torre si trova un piccolo team di controllori altamente qualificati — tra 4 e 64, a seconda del processore — ciascuno dei quali gestisce decisioni complesse e time-critical. Un controllore traccia un volo in arrivo da Tokyo e decide se deviarlo a causa del maltempo. Un altro gestisce simultaneamente una coda di partenze, bilanciando vincoli di carburante, slot temporali e disponibilita delle piste. Un terzo gestisce una deviazione di emergenza, seguendo la logica di contingenza in tempo reale.

Cio che rende questi controllori straordinari non e la velocita pura ma la sofisticazione cognitiva. Gestiscono la logica ramificata (“se questo aereo e in ritardo, devia quell’altro e modifica la sequenza di partenza”). Prevedono i conflitti prima che accadano, utilizzando una profonda consapevolezza contestuale dell’intero spazio aereo. E mantengono una memoria precisa di centinaia di voli, ciascuno con vincoli unici.

Questo e esattamente il modo in cui opera una CPU moderna. Ogni core e un motore potente e generico capace di gestire praticamente qualsiasi calcolo. Le caratteristiche architetturali che lo rendono possibile includono:

• Previsione dei salti (branch prediction): le CPU moderne prevedono correttamente l’esito delle operazioni condizionali oltre il 95% delle volte, accelerando l’esecuzione preparando l’istruzione successiva prima che quella corrente sia terminata.
• Grandi gerarchie di cache: tre livelli di cache progressivamente piu grandi e piu lente (L1, L2, L3) mantengono i dati ad accesso frequente vicini al core, riducendo i costosi accessi alla memoria principale.
• Esecuzione fuori ordine (out-of-order execution): i core della CPU possono riordinare le istruzioni per mantenere piene le pipeline di esecuzione, estraendo il massimo throughput da ogni ciclo di clock.
• Set di istruzioni complessi: i processori x86-64 supportano migliaia di istruzioni, dall’aritmetica di base alle operazioni vettoriali avanzate.

Le CPU moderne sono impressionanti. La serie EPYC 9004 di AMD integra fino a 128 core funzionanti a 2,0-4,5 GHz. Gli ultimi processori Xeon di Intel includono AMX (Advanced Matrix Extensions) per accelerare le operazioni su matrici AI direttamente sulla CPU. Le istruzioni AVX-512 consentono alle CPU di elaborare 512 bit di dati per ciclo, avvicinando le capacita di calcolo vettoriale a quelle offerte dalle GPU.

Ma ecco il vincolo fondamentale: anche la CPU piu avanzata ha decine di core, non migliaia. Le CPU sono generaliste. Possono fare praticamente qualsiasi cosa, ma lo fanno un task complesso alla volta per core. Quando il carico di lavoro richiede migliaia di operazioni identiche in parallelo, e necessaria un’architettura diversa.

Architettura GPU spiegata (in parole semplici)

Ora si immagini un enorme centro di distribuzione con 16.000 lavoratori disposti in file. Ogni lavoratore ha una mansione semplice: prendere un articolo, scansionarlo, posizionarlo sul nastro trasportatore. Individualmente, nessun singolo lavoratore e particolarmente qualificato. Non sanno gestire decisioni complesse, negoziare con i fornitori o riprogettare il flusso logistico. Ma quando tutti i 16.000 lavoratori eseguono la loro semplice operazione simultaneamente, il magazzino spedisce milioni di pacchi al giorno — un throughput che nessun team di 64 manager logistici esperti potrebbe eguagliare, per quanto talentuosi.

Questo e il modello GPU. Invece di pochi core potenti, una GPU integra migliaia di core semplici progettati per eseguire la stessa istruzione su molti punti dati simultaneamente. Questo modello di esecuzione e chiamato SIMD — Single Instruction, Multiple Data. Un’istruzione (“moltiplica questi due numeri”) viene trasmessa a migliaia di core, ciascuno operante su dati diversi.

All’interno di una GPU moderna, i core sono organizzati in Streaming Multiprocessor (SM). Ogni SM contiene un gruppo di CUDA core (il termine NVIDIA per i processori shader) che condividono memoria locale, registri e logica di scheduling. La NVIDIA H100 contiene 132 SM, ciascuno con 128 CUDA core, per un totale di 16.896 CUDA core.

Ma la vera arma per i carichi di lavoro AI e il Tensor Core. Introdotto con l’architettura Volta di NVIDIA e perfezionato in ogni generazione successiva, i Tensor Core sono motori dedicati alla moltiplicazione di matrici. Eseguono operazioni di moltiplicazione-accumulazione a precisione mista su matrici 4x4 in un singolo ciclo di clock — l’esatta operazione che domina l’addestramento e l’inferenza delle reti neurali. La H100 contiene 528 Tensor Core di quarta generazione, ciascuno capace di elaborare tipi di dati FP8, FP16, BF16, TF32 e INT8.

La filosofia di progettazione e chiara: le GPU sacrificano la complessita per core a favore del massiccio parallelismo. Ogni singolo core e “piu stupido” di un core CPU — non puo fare branch prediction, ha una cache minima e non puo eseguire sequenze di istruzioni complesse. Ma 16.000 core poco sofisticati ma veloci battono 64 core intelligenti ma sequenziali per qualsiasi carico di lavoro che possa essere scomposto in migliaia di operazioni parallele identiche. E l’addestramento AI, nella sua essenza matematica, e esattamente quel tipo di carico di lavoro.

Confronto architetturale fianco a fianco

Le specifiche grezze rivelano quanto diversamente questi processori siano progettati:

Si notino i compromessi. La GPU ha una larghezza di banda della memoria 7 volte superiore ma 1/19 della capacita di memoria totale. Consuma quasi il doppio dell’energia ma offre ordini di grandezza in piu di throughput per carichi di lavoro paralleli. La CPU funziona a piu del doppio della frequenza di clock per core, ma con una frazione del numero di core. Non sono design in competizione — sono architetture complementari ottimizzate per task fondamentalmente diversi.

Benchmark nel mondo reale: GPU vs. CPU testa a testa

Le specifiche architetturali grezze raccontano solo una parte della storia. Ecco cosa accade quando questi processori affrontano carichi di lavoro reali.

Addestramento di modelli AI

Le GPU offrono un aumento di velocita fino a 250 volte rispetto alle CPU per l’addestramento del deep learning. Il massiccio parallelismo delle architetture GPU si adatta direttamente alle moltiplicazioni di matrici che dominano i passaggi forward e backward delle reti neurali. L’addestramento di un modello che richiederebbe mesi a un cluster CPU si completa in giorni su un cluster GPU. Per i modelli basati su transformer — l’architettura dietro GPT, Claude e ogni grande LLM — il vantaggio e ancora piu pronunciato perche i meccanismi di attenzione sono intrinsecamente parallelizzabili. (Fonte: ricerca io.net)

Classificazione delle immagini

Una singola GPU classifica un’immagine in 2-3 secondi. La stessa operazione su una CPU richiede circa 5 secondi. Quella differenza di 2 volte potrebbe sembrare modesta per una singola immagine, ma il divario si allarga drasticamente con l’elaborazione in batch. Quando si classificano 10.000 immagini, la GPU le elabora come batch paralleli mentre la CPU le gestisce sequenzialmente, trasformando un divario di 2 volte in un divario di 50-100 volte. (Fonte: benchmark Azure ML)

Inferenza LLM — la storia sfumata

Per modelli grandi con 7 miliardi o piu parametri, le GPU sono essenziali per il throughput in tempo reale. I pesi del modello da soli superano cio che la maggior parte delle architetture di memoria CPU puo accedere in modo efficiente, e le operazioni su matrici durante la generazione dei token richiedono un’esecuzione parallela.

Ma ecco la sorpresa: un articolo di ricerca del 2025 su ArXiv intitolato “Challenging GPU Dominance in AI Inference” ha scoperto che per modelli sotto 1,5 miliardi di parametri, l’esecuzione CPU multi-threaded ottimizzata ha effettivamente raggiunto un aumento di velocita di 1,31 volte rispetto all’inferenza su GPU. Il motivo? Per modelli piccoli, l’overhead di trasferimento dei dati alla GPU, lancio dei kernel e sincronizzazione dei risultati supera il tempo risparmiato dall’esecuzione parallela. La dimensione del modello determina quale processore vince.

Codifica video

La codifica accelerata da GPU tramite il motore NVENC di NVIDIA e 5-10 volte piu veloce della codifica basata su CPU a livelli di qualita comparabili. Per i creatori di contenuti che producono video 4K, le piattaforme di streaming che transcodificano milioni di ore di contenuti e i sistemi di sorveglianza che elaborano flussi continui, questo aumento di velocita si traduce direttamente in costi infrastrutturali ridotti e pipeline di distribuzione piu veloci.

Simulazione scientifica

Le simulazioni di dinamica molecolare su GPU sono 10-50 volte piu veloci rispetto alle implementazioni solo CPU, a seconda della dimensione del problema e del numero di GPU. Framework come GROMACS e AMBER sono stati ottimizzati nel corso degli anni per sfruttare il parallelismo GPU per i calcoli delle forze, la costruzione delle liste dei vicini e le fasi di integrazione. Modellazione climatica, dinamica dei fluidi computazionale e simulazioni di chimica quantistica vedono fattori di accelerazione simili.

L’equazione dei costi: quanto costa realmente la potenza di calcolo?

Le prestazioni senza contesto sono prive di significato. La vera domanda e: quanto costano quelle prestazioni?

Queste fasce riflettono la variabilita del mercato tra hyperscaler, fornitori bare-metal e marketplace GPU. I prezzi fluttuano in base alla durata dell’impegno, alla disponibilita e alla regione.

L’analisi del punto di pareggio conta piu della tariffa oraria. Se l’utilizzo della GPU supera costantemente il 60%, l’hardware dedicato potrebbe essere piu conveniente del prezzo cloud on-demand. Al di sotto di quella soglia, il noleggio cloud — tramite i principali fornitori o marketplace GPU come GPUnex — offre tipicamente un ROI migliore perche si evita di pagare per la capacita inattiva.

Ma attenzione al costo nascosto della scelta sbagliata. Un carico di lavoro GPU che richiede 2 ore a $6,98/ora costa $13,96 in totale. Lo stesso carico su CPU potrebbe richiedere 500 ore a $0,30/ora, costando $150 in totale. La tariffa oraria inferiore della CPU risulta dieci volte piu costosa nel costo totale del lavoro. La tariffa oraria grezza e fuorviante — il costo totale del lavoro e cio che conta. Al contrario, eseguire una semplice API web su una H100 perche “le GPU sono piu veloci” spreca migliaia di dollari al mese per hardware che resta inattivo tra le richieste.

Quando serve una GPU (senza discussione)

Certi carichi di lavoro sono inequivocabilmente territorio GPU:

• Addestramento di modelli linguistici con 1B+ parametri: le operazioni su matrici nell’addestramento dei transformer sono embarrassingly parallel. Le CPU semplicemente non possono competere a questa scala.
• Inferenza in tempo reale per migliaia di utenti contemporanei: l’elaborazione in batch delle richieste di inferenza attraverso i core GPU e l’unico modo per raggiungere il throughput richiesto dai servizi AI in produzione.
• Rendering 3D con ray tracing: VFX cinematografici, visualizzazione architettonica e sviluppo di giochi dipendono tutti dal tracciamento di milioni di raggi di luce per frame — un carico di lavoro perfettamente parallelo.
• Simulazione scientifica su larga scala: modellazione climatica, dinamica molecolare e dinamica dei fluidi computazionale comportano la risoluzione di sistemi di equazioni differenziali su milioni di punti spaziali simultaneamente.
• Codifica e elaborazione video su scala: gli encoder hardware dedicati sulle GPU (NVENC, AMF) gestiscono la transcodifica in tempo reale in modo molto piu efficiente degli encoder software su CPU.
• Validazione di criptovalute: sebbene questo mercato si sia in gran parte spostato verso gli ASIC per le catene proof-of-work, il mining su GPU rimane rilevante per determinati algoritmi e reti piu recenti.

Quando vince una CPU (si, davvero)

Le GPU non sono universalmente superiori. Diverse importanti categorie di carichi di lavoro favoriscono le CPU:

• Inferenza su modelli piccoli sotto 1,5B parametri: come ha dimostrato l’articolo ArXiv del 2025, l’inferenza CPU ottimizzata batte l’inferenza GPU per modelli compatti dove l’overhead del lancio dei kernel domina il tempo di calcolo.
• Scenari con singola richiesta e bassa latenza: quando si serve una richiesta alla volta con requisiti di latenza stringenti, l’overhead dei trasferimenti di memoria GPU e del lancio dei kernel puo superare il beneficio computazionale.
• Preprocessing dei dati e pipeline ETL: caricare file CSV, pulire testo, unire tabelle di database e trasformare feature sono operazioni sequenziali e I/O-bound dove dominano i punti di forza della CPU.
• Web server, API REST e operazioni su database: gestire richieste HTTP, analizzare JSON, eseguire query SQL e gestire sessioni sono operazioni intrinsecamente sequenziali e ricche di branch.
• Logica ramificata complessa: motori di regole di business, automazione dei workflow, alberi decisionali con centinaia di condizioni e controlli di conformita dipendono da un’esecuzione condizionale sofisticata che le CPU gestiscono nativamente.
• Orchestrazione di sistema: pianificazione dei lavori GPU, gestione dell’addestramento distribuito su un cluster, monitoraggio della salute dell’hardware e coordinamento dei checkpoint sono operazioni CPU anche in ambienti ad alta densita GPU.

L’approccio ibrido: come CPU e GPU lavorano realmente insieme

Le pipeline AI moderne non sono “GPU o CPU” — sono “CPU e GPU”. Capire come entrambi i processori collaborano in un workflow reale rivela perche investire in uno solo crea colli di bottiglia.

Si consideri una tipica pipeline di addestramento LLM. La CPU carica i dati di addestramento grezzi dallo storage distribuito, li decomprime, tokenizza il testo e assembla i batch. Questi batch vengono trasferiti nella memoria GPU tramite PCIe o NVLink. La GPU esegue il passaggio forward (calcolo delle predizioni), il passaggio backward (calcolo dei gradienti) e l’accumulazione dei gradienti. La CPU gestisce poi la sincronizzazione dei gradienti tra piu GPU utilizzando NCCL (NVIDIA Collective Communications Library), gestisce il checkpointing sullo storage persistente e registra le metriche.

In un addestramento ben ottimizzato, la suddivisione temporale appare approssimativamente cosi: la CPU gestisce il caricamento dati e il preprocessing (10-15% del tempo totale), la GPU gestisce i passaggi forward e backward (70-80%) e la CPU gestisce la sincronizzazione e il checkpointing (10-15%).

Le architetture di calcolo eterogeneo stanno formalizzando questa partnership. L’HSA (Heterogeneous System Architecture) di AMD consente a CPU e GPU di condividere lo stesso spazio di memoria virtuale, riducendo i costosi trasferimenti di dati che tradizionalmente separavano i due. I modelli di memoria unificata in CUDA consentono alla GPU di accedere direttamente alla memoria della CPU (e viceversa), semplificando la programmazione e riducendo la latenza per i carichi di lavoro che scambiano frequentemente dati.

La conclusione pratica: investire in CPU potenti accanto alle GPU impedisce che i colli di bottiglia della CPU sprechino costosi cicli GPU. Una pipeline di caricamento dati che non riesce ad alimentare i batch abbastanza velocemente lascia la GPU inattiva. Un livello di orchestrazione che si blocca durante il checkpointing estende il tempo di addestramento totale. L’equilibrio conta.

Guida decisionale per settore: GPU vs. CPU per comparto

I diversi settori distribuiscono i carichi di lavoro GPU e CPU in modo differente. Ecco come appare tipicamente la suddivisione:

Lo schema e coerente: le GPU gestiscono i carichi di lavoro analitici ad alta intensita computazionale mentre le CPU gestiscono i livelli operativi, transazionali e di orchestrazione. Nessuno dei due puo sostituire l’altro.

La questione energetica: energia e sostenibilita

Le prestazioni per watt stanno diventando importanti quanto le prestazioni grezze. Le implicazioni energetiche delle decisioni GPU vs. CPU sono sostanziali.

Un moderno server GPU — un NVIDIA DGX H100 con otto GPU H100 — consuma circa 10.200 watt a pieno carico. Un server comparabile solo CPU funziona a 500-800 watt. Si tratta di una differenza di 10-15 volte per unita rack, che si moltiplica attraverso i piani dei data center.

Il consumo energetico globale dei data center dovrebbe raggiungere 96 GW entro il 2026, secondo le TMT Predictions di Deloitte, con i carichi di lavoro AI che guidano gran parte dell’aumento. L’Agenzia Internazionale dell’Energia (IEA) prevede che i data center consumeranno 650-1.050 TWh a livello globale entro il 2026 — equivalente al consumo di elettricita del Giappone.

Il settore sta rispondendo. AMD ha raggiunto un miglioramento di 38 volte verso il suo ambizioso obiettivo di efficienza energetica 30x per i processori da data center (superando l’obiettivo in anticipo). L’architettura Blackwell di NVIDIA offre circa 4 volte le prestazioni di addestramento per watt rispetto a Hopper. Il raffreddamento a liquido, un tempo esotico, sta diventando standard per le installazioni ad alta densita GPU.

L’implicazione pratica per le decisioni infrastrutturali: per carichi di lavoro dove le CPU sono “sufficientemente buone”, il costo energetico dell’uso delle GPU puo superare il beneficio in velocita. Eseguire un carico di inferenza leggero che una CPU gestisce in 50ms su una H100 che lo gestisce in 10ms fa risparmiare 40ms di latenza ma costa 10 volte di piu in consumo energetico per server. Si scelga lo strumento giusto per il lavoro, e la bolletta energetica — e l’impronta di carbonio — ringrazieranno.

Oltre GPU vs. CPU: il panorama hardware completo

GPU e CPU non sono le uniche opzioni. Il panorama degli acceleratori si sta diversificando rapidamente.

TPU (Tensor Processing Unit): il chip AI personalizzato di Google utilizza un’architettura ad array sistolico ottimizzata per operazioni su matrici a grandi batch. L’ultima generazione, Ironwood, offre prestazioni eccezionali per carichi di lavoro TensorFlow e JAX in esecuzione su Google Cloud. Il compromesso e il lock-in nell’ecosistema — i TPU non sono disponibili al di fuori dell’infrastruttura Google, e il supporto ai framework oltre TensorFlow e JAX rimane limitato.

NPU (Neural Processing Unit): processori AI sul dispositivo incorporati in smartphone, laptop e dispositivi IoT. Le NPU sono 40-60 volte piu efficienti dal punto di vista energetico rispetto alle GPU per operazioni di inferenza edge come il riconoscimento vocale, l’elaborazione delle immagini e i modelli linguistici sul dispositivo. Apple Neural Engine, Hexagon di Qualcomm e la NPU di Intel stanno portando l’AI ai margini della rete senza dipendenza dal cloud.

Chip neuromorfici: processori ispirati al cervello come Loihi 2 di Intel e Akida di BrainChip imitano le reti neurali biologiche utilizzando neuroni a impulsi e calcolo basato su eventi. Sono circa 1.000 volte piu efficienti dal punto di vista energetico rispetto alle GPU tradizionali per specifiche operazioni di riconoscimento di pattern. Il mercato del computing neuromorfico sta crescendo con un CAGR dell’89,7% fino al 2030, sebbene le implementazioni in produzione rimangano limitate a casi d’uso specializzati come il rilevamento di anomalie e la fusione dei sensori.

ASIC (Application-Specific Integrated Circuits): chip personalizzati costruiti per un unico compito. Il TPU di Google e tecnicamente un ASIC. Gli ASIC per il mining di Bitcoin di Bitmain offrono ordini di grandezza in piu di potenza hash per watt rispetto a qualsiasi GPU. Il compromesso e l’assoluta mancanza di flessibilita — un ASIC progettato per l’hashing SHA-256 non puo eseguire una rete neurale.

Il futuro: cosa sta cambiando nel 2026-2027

Il panorama GPU-CPU sta evolvendo piu velocemente che in qualsiasi altro momento della storia dell’informatica.

L’architettura Rubin di NVIDIA, annunciata per la fine del 2026, integra 336 miliardi di transistor e punta a 50 PFLOPS di inferenza FP4 — un salto di circa 5 volte rispetto all’attuale generazione Blackwell. Se consegnata nei tempi previsti, Rubin ridefinira cio che un singolo nodo GPU puo realizzare per i carichi di inferenza.

AMD MI350X e MI400 promettono un miglioramento delle prestazioni di 4 volte rispetto alla MI300X, con prezzi di inferenza competitivi che potrebbero sfidare il quasi-monopolio di NVIDIA nel calcolo AI. L’ecosistema software open-source ROCm di AMD sta maturando, riducendo il costo di migrazione per i team attualmente vincolati a CUDA.

Il rinascimento della CPU e reale. SemiAnalysis riporta che le CPU sono “tornate” nei data center man mano che i workflow AI evolvono oltre il puro addestramento. I sistemi di AI agentica — agenti autonomi che pianificano, cercano, eseguono codice e iterano — generano un enorme carico CPU per orchestrazione, utilizzo di strumenti e gestione della memoria. Le pipeline di preprocessing per la retrieval-augmented generation (RAG) sono CPU-intensive. Piu sofisticati diventano i sistemi AI, piu lavoro CPU creano.

L’inferenza supera l’addestramento: il rapporto TMT Predictions 2026 di Deloitte conferma che l’inferenza rappresenta ora circa due terzi di tutto il calcolo AI, in aumento da un terzo nel 2023. Questo spostamento favorisce chip di inferenza efficienti, implementazioni GPU ottimizzate per i costi e un posizionamento intelligente dei carichi di lavoro — eseguire il modello giusto sull’hardware giusto al prezzo giusto. Le piattaforme che aiutano i team ad accedere a potenza di calcolo GPU conveniente per l’inferenza, come GPUnex, stanno diventando sempre piu importanti man mano che la spesa per l’inferenza cresce.

La spesa infrastrutturale degli hyperscaler e sbalorditiva. Oltre $600 miliardi confluiranno nell’infrastruttura AI nel 2026, secondo IEEE ComSoc, con la maggior parte destinata alla capacita GPU, alla rete e all’infrastruttura energetica. Questo investimento sta rimodellando le catene di approvvigionamento globali per semiconduttori, energia e immobiliare.

Domande frequenti

Una GPU e piu veloce di una CPU?

Per carichi di lavoro paralleli come l’addestramento AI e il rendering grafico, si — fino a 250 volte piu veloce. Per operazioni sequenziali come l’esecuzione di un sistema operativo, query su database o logica decisionale complessa, una CPU e tipicamente piu veloce. La domanda giusta non e “quale e piu veloce” ma “quale e piu veloce per il proprio task specifico”.

Si puo addestrare un’AI senza GPU?

Tecnicamente, si. Modelli piccoli e algoritmi semplici come la regressione lineare, gli alberi decisionali e piccole reti neurali possono essere addestrati su CPU. Ma per qualsiasi modello oltre qualche centinaio di milioni di parametri, l’addestramento su GPU riduce i tempi da mesi a giorni. La risposta pratica per lo sviluppo AI in produzione: le GPU sono essenziali.

Le GPU stanno sostituendo le CPU?

No. Ogni sistema GPU richiede CPU per l’orchestrazione, il caricamento dati e la logica sequenziale. La tendenza e verso il calcolo eterogeneo — CPU e GPU che lavorano insieme, ciascuno gestendo cio che sa fare meglio. Lo si pensi come una partnership, non una sostituzione. Anche il server piu denso di GPU (come un NVIDIA DGX con 8 GPU) contiene CPU potenti che gestiscono l’intero sistema.

Quanto e piu veloce una GPU rispetto a una CPU?

Dipende interamente dal carico di lavoro. Per l’addestramento del deep learning: fino a 250 volte. Per la classificazione delle immagini: circa 2 volte per singole immagini, 50-100 volte per grandi batch. Per l’inferenza su modelli piccoli sotto 1,5B parametri: le CPU possono effettivamente essere 1,3 volte piu veloci. Per la codifica video: 5-10 volte. L’accelerazione e specifica per il task, non universale. Citare un singolo numero senza specificare il carico di lavoro e fuorviante.

Serve una GPU per il machine learning?

Per il lavoro esplorativo con piccoli dataset e modelli semplici — classificatori scikit-learn, piccoli esperimenti PyTorch, prototipazione su Jupyter notebook — una CPU va bene. Per l’addestramento di modelli transformer, il fine-tuning di LLM, l’esecuzione di inferenza su scala produttiva o il lavoro con modelli di computer vision su grandi dataset di immagini, serve potenza di calcolo GPU. La dimensione del modello e i requisiti di velocita dell’applicazione determinano la risposta.