Inferência de IA · Escolhendo o hardware
Ryzen AI vs GPU dedicada se resume a duas coisas: o tamanho do seu modelo e quantas pessoas fazem perguntas a ele ao mesmo tempo. Um modelo pequeno quantizado para uma pessoa, uma ferramenta interna ou um lote noturno roda bem em um servidor Ryzen AI a partir da própria memória do sistema, sem uma GPU parada pesando na sua conta. Você precisa de uma GPU dedicada quando o modelo supera essa memória, uma multidão começa a perguntar ao mesmo tempo, você começa a fazer ajuste fino ou respostas rápidas são o que seus clientes pagam para ter.
| Verificação | Ryzen AI é suficiente | Alugue uma GPU |
|---|---|---|
| 01Tamanho do modelo | Cabe na memória do sistema com folga | Maior que a memória, ou crescendo |
| 02Pessoas ao mesmo tempo | Uma pessoa ou uma equipe pequena | Muitos usuários ao mesmo tempo |
| 03O trabalho | Responder perguntas, trabalho em lote | Ajuste fino ou treinamento |
| 04Velocidade de resposta | Segundos são aceitáveis | Cada milissegundo faz diferença |
Antes de pagar por uma GPU, veja o que você ganha sem uma. Cada servidor Ryzen AI é uma máquina inteira só sua: um processador AMD com gráficos Radeon e uma NPU no mesmo chip, todos lendo a própria memória da máquina. Para muito trabalho de inferência, isso é o trabalho inteiro.
O mais espaçoso dos dois: a maior memória, para um modelo pequeno mais um grande conjunto de documentos ou vários modelos carregados lado a lado.
O chip mais rápido: mais núcleos e uma Radeon muito maior, para quando as respostas precisam voltar mais depressa em um modelo de tamanho médio.
Nem sempre. A maioria dos modelos pequenos responde bem sem uma. Uma GPU dedicada vale seu preço quando uma destas quatro coisas acontece com você.
01Tamanho do modelo
Um modelo que não cabe não roda devagar. Ele simplesmente não carrega. Quando os pesos mais o espaço para conversas ultrapassam o que a máquina comporta, você precisa de uma GPU escolhida primeiro pela memória. Nosso guia de hospedagem de LLM calcula quanta memória seu modelo precisa.
02Pessoas ao mesmo tempo
Responder a muitos usuários juntos é para o que a memória rápida e o processamento em lote de uma GPU foram feitos. Quando as perguntas começam a formar fila em um servidor Ryzen AI, essa fila é o sinal para migrar para um servidor com GPU dedicada.
03O trabalho
O treinamento mantém os pesos, os gradientes e o estado do otimizador na memória ao mesmo tempo, várias vezes o que a inferência exige. Isso é trabalho para GPU e, para modelos maiores, pode significar um servidor com várias GPUs.
04Velocidade de resposta
Se seus clientes sentem cada pausa, a memória mais rápida de uma GPU é a solução de verdade. Um servidor Ryzen AI serve para trabalhos em que uma resposta em alguns segundos é aceitável: rascunhos, resumos, marcação, ferramentas internas.
Em um servidor Ryzen AI, espaço raramente é o problema. As duas máquinas comportam os pesos de todos os tamanhos de modelo abaixo em 4 bits, com memória de sobra para o sistema. O limite é a velocidade: cada palavra que o modelo escreve lê os pesos de novo, e a memória do sistema lê mais devagar que a memória de uma GPU. Uma pessoa em um modelo pequeno não vai notar. Uma fila de pessoas vai.
| Tamanho do modelo | Pesos em 4 bits | Pesos em 8 bits | Pesos em 16 bits |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Estes são apenas os pesos. Reserve de um quarto a metade a mais por cima para conversas e o runtime. Para comparação, os servidores Ryzen AI têm 128 GB e 64 GB de memória. Não publicamos nenhum número de velocidade para essas máquinas, porque ele muda com cada modelo e runtime. Teste seu próprio modelo em uma, ou pergunte no chat o que esperar.
A NPU em um chip Ryzen AI é real, mas não é a parte que a maioria das pessoas acaba usando. Veja para que cada opção serve.
ANPU
Ela roda modelos pelo software Ryzen AI da própria AMD. A maioria dos runtimes de modelos abertos que as pessoas implantam usa o processador e a Radeon integrada. Alugue uma por mês para testar as ferramentas da NPU em hardware real antes de se comprometer com mais.
BMemória unificada
A mesma ideia do Ryzen AI no topo da linha: uma GPU que pode endereçar 128 GB de memória em uma máquina compacta. Vale a pena considerar quando você quer fazer ajuste fino ou rodar um modelo grande em uma GPU NVIDIA, mas ainda atender um público pequeno. Veja o servidor DGX Spark.
CGPU dedicada
Uma GPU dedicada tem sua própria memória rápida, então responde a mais pessoas mais depressa e é a única opção real para ajuste fino. Cada GPU que instalamos tem preço junto com o servidor exato em que ela vai na nossa página de servidores com GPU.
Conte-nos seu modelo e quantas pessoas vão usá-lo. Nosso chat ao vivo responde em segundos e vai indicar um servidor Ryzen AI ou um servidor com GPU, e uma pessoa está lá se você quiser uma.