AMD Ryzen AI 9
Il più capiente dei due: la memoria maggiore, per un modello piccolo più un ampio set di documenti o più modelli caricati fianco a fianco.
- Core12
- Memoria128 GB
- Grafica sul chipAMD Radeon 890M
- Calcolo AI, CPU + GPU + NPU80 TOPS
Inferenza AI · La scelta dell'hardware
Ryzen AI contro GPU dedicata: di quale ha bisogno il tuo modello?
Ryzen AI contro GPU dedicata si riduce a due cose: quanto è grande il tuo modello e quante persone gli fanno domande contemporaneamente. Un piccolo modello quantizzato per una sola persona, uno strumento interno o un batch notturno gira bene su un server Ryzen AI dalla propria memoria di sistema, senza una GPU ferma a pesare sulla bolletta. Ti serve una GPU dedicata quando il modello supera quella memoria, una folla inizia a chiedere nello stesso momento, cominci a fare fine-tuning, o le risposte rapide sono ciò per cui i tuoi clienti pagano.
| Verifica | Ryzen AI è sufficiente | Noleggia una GPU |
|---|---|---|
| 01Dimensione del modello | Entra nella memoria di sistema con margine | Più grande della memoria, o in crescita |
| 02Persone contemporanee | Una persona o un piccolo team | Molti utenti nello stesso momento |
| 03Il lavoro | Servire risposte, lavoro batch | Fine-tuning o addestramento |
| 04Velocità di risposta | I secondi vanno bene | Ogni millisecondo conta |
01
Cosa fa già un server Ryzen AI senza una GPU
Prima di pagare per una GPU, controlla cosa ottieni senza. Ogni server Ryzen AI è una macchina intera tutta tua: un processore AMD con grafica Radeon e una NPU sullo stesso chip, che leggono tutti la memoria della macchina. Per molto lavoro di inferenza, questo è tutto ciò che serve.
AMD Ryzen AI Max+ 395
Il chip più veloce: più core e una Radeon molto più grande, per quando le risposte devono arrivare più in fretta su un modello di medie dimensioni.
- Core16
- Memoria64 GB
- Grafica sul chipAMD Radeon 8060S
- Calcolo AI, CPU + GPU + NPU126 TOPS
- L'intera macchina è tua, senza altri inquilini sopra
- Accesso root completo e il tuo runtime, sulle tue versioni
- Storage NVMe per modelli, documenti e checkpoint
- Una porta da 1 Gbps che nessuno misura, più un indirizzo IPv4
- Aiuto in chat dal vivo: la nostra AI risponde in secondi e può controllare il tuo server, e una persona si unisce quando lo chiedi
- Nessuno slot per una GPU: se ti serve più avanti, passi a un server GPU
02
Mi serve una GPU per l'inferenza AI? Quattro segnali che sì
Non sempre. La maggior parte dei modelli piccoli risponde bene senza. Una GPU dedicata vale il suo prezzo quando ti succede una di queste quattro cose.
01Dimensione del modello
Il tuo modello non entra più nella memoria
Un modello che non entra non gira lentamente. Non si carica affatto. Quando i pesi più lo spazio per le conversazioni superano ciò che la macchina contiene, ti serve una GPU scelta prima di tutto per la sua memoria. La nostra guida all'hosting LLM calcola quanta memoria serve al tuo modello.
02Persone contemporanee
Molte persone chiedono nello stesso momento
Rispondere a molti utenti insieme è ciò per cui la memoria veloce e il batching di una GPU sono fatti. Quando le domande iniziano ad accodarsi su un server Ryzen AI, quella coda è il tuo segnale per passare a un server con GPU dedicata.
03Il lavoro
Inizi a fare fine-tuning
L'addestramento tiene in memoria contemporaneamente i pesi, i gradienti e lo stato dell'ottimizzatore, diverse volte ciò che serve per servire. Quello è lavoro da GPU, e per modelli più grandi può significare un server con più GPU.
04Velocità di risposta
Le risposte rapide fanno parte del tuo prodotto
Se i tuoi clienti percepiscono ogni pausa, la memoria più veloce di una GPU è la vera soluzione. Un server Ryzen AI si adatta ai lavori in cui una risposta in pochi secondi va bene: bozze, riassunti, tagging, strumenti interni.
03
Inferenza su CPU contro un server GPU: la memoria decide cosa si carica, la velocità decide chi aspetta
Su un server Ryzen AI, lo spazio raramente è il problema. Entrambe le macchine contengono i pesi di ogni dimensione di modello qui sotto a 4 bit, con memoria rimasta per il sistema. Il limite è la velocità: ogni parola che il modello scrive rilegge i pesi, e la memoria di sistema legge più lentamente della memoria su una GPU. Una persona su un modello piccolo non se ne accorge. Una coda di persone sì.
| Dimensione del modello | Pesi a 4 bit | Pesi a 8 bit | Pesi a 16 bit |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Questi sono solo i pesi. Metti in conto da un quarto alla metà in più per le conversazioni e il runtime. Per confronto, i server Ryzen AI hanno 128 GB e 64 GB di memoria. Non pubblichiamo alcuna cifra di velocità per queste macchine, perché cambia con ogni modello e runtime. Prova il tuo modello su una, o chiedici in chat cosa aspettarti.
04
Inferenza NPU contro GPU, e le opzioni intermedie
La NPU su un chip Ryzen AI è reale, ma non è la parte che la maggior parte delle persone finisce per usare. Ecco a cosa serve ciascuna opzione.
ANPU
La NPU Ryzen AI
Esegue i modelli tramite il software Ryzen AI di AMD. La maggior parte dei runtime open-model che le persone distribuiscono usa invece il processore e la Radeon integrata. Noleggiane una al mese per testare gli strumenti NPU su hardware reale prima di impegnarti di più.
BMemoria unificata
La DGX Spark
La stessa idea di Ryzen AI al top di gamma: una GPU che può indirizzare 128 GB di memoria in una macchina compatta. Vale la pena darle un'occhiata quando vuoi fare fine-tuning o eseguire un modello grande su una GPU NVIDIA ma servire comunque un pubblico ristretto. Vedi il server DGX Spark.
CGPU dedicata
Un server GPU
Una GPU dedicata ha la propria memoria veloce, quindi risponde a più persone più in fretta ed è l'unica vera opzione per il fine-tuning. Ogni GPU che installiamo ha un prezzo rapportato all'esatto server in cui va, sulla nostra pagina dei server GPU.
05
Domande che le persone fanno prima di scegliere
01Mi serve una GPU per l'inferenza AI?
Non per un piccolo modello quantizzato con traffico leggero. Un server Ryzen AI lo esegue dalla memoria di sistema a un ritmo adatto a una persona, uno strumento interno o una coda batch. Ti serve una GPU dedicata quando il modello è più grande della memoria, molte persone lo usano contemporaneamente, fai fine-tuning, o la velocità di risposta conta per i tuoi clienti.
02Come si confronta un server Ryzen AI con un server GPU?
Fanno lo stesso lavoro con memoria diversa. Un server Ryzen AI tiene il modello nella memoria di sistema, che è abbondante per il prezzo ma più lenta da leggere. Un server GPU lo tiene nella memoria propria della GPU, che è più scarsa e molto più veloce. La dimensione del tuo modello e il tuo traffico decidono tra loro.
03La NPU eseguirà il mio modello?
Può, tramite il software Ryzen AI di AMD. La maggior parte dei runtime open-model usa invece il processore e la grafica Radeon integrata, quindi pianifica su quelli a meno che i tuoi strumenti non puntino alla NPU. È comunque sul chip, e nulla ti impedisce di usarla.
04Posso aggiungere una GPU a un server Ryzen AI più avanti?
No. Queste macchine non hanno uno slot per una GPU. Se ne superi una, passi invece a un server GPU, e possiamo aiutarti a pianificare quel passaggio in chat.
05Potete aiutarmi a spostare la mia configurazione da uno all'altro?
Sì. Porta i tuoi container, modelli e dati, e dicci in chat dal vivo cosa esegui prima di ordinare. Il nostro assistente AI risponde in secondi e può guardare il tuo account e i tuoi server, e una persona del nostro team subentra ogni volta che lo chiedi.
06Dove sono i prezzi?
I server Ryzen AI hanno prezzi in tempo reale sulla pagina Ryzen AI, e ogni GPU ha un prezzo insieme al server in cui va sulla pagina dei server GPU. Tenerli lì significa che vedi sempre il prezzo di oggi.
Ancora incerto da che parte stai?
Dicci il tuo modello e quante persone lo useranno. La nostra chat dal vivo risponde in secondi e ti indirizzerà a un server Ryzen AI o a un server GPU, e c'è una persona se ne vuoi una.