Inferencia de IA · Elegir el hardware
Ryzen AI vs GPU dedicada se reduce a dos cosas: el tamaño de tu modelo y cuántas personas le hacen preguntas a la vez. Un modelo cuantizado pequeño para una persona, una herramienta interna o un lote nocturno funciona bien en un servidor Ryzen AI desde su propia memoria del sistema, sin una GPU inactiva en tu factura. Necesitas una GPU dedicada cuando el modelo supera esa memoria, empiezan a preguntar muchas personas al mismo tiempo, comienzas a ajustarlo o las respuestas rápidas son por lo que pagan tus clientes.
| Comprobación | Ryzen AI es suficiente | Alquila una GPU |
|---|---|---|
| 01Tamaño del modelo | Cabe en la memoria del sistema con margen de sobra | Más grande que la memoria, o en crecimiento |
| 02Personas a la vez | Una persona o un equipo pequeño | Muchos usuarios al mismo tiempo |
| 03El trabajo | Servir respuestas, trabajo por lotes | Ajuste fino o entrenamiento |
| 04Velocidad de respuesta | Unos segundos están bien | Cada milisegundo se nota |
Antes de pagar por una GPU, comprueba lo que obtienes sin ella. Cada servidor Ryzen AI es una máquina completa para ti: un procesador AMD con gráficos Radeon y una NPU en el mismo chip, todos leyendo la memoria propia de la máquina. Para mucho trabajo de inferencia, eso es todo el trabajo.
El más espacioso de los dos: la mayor memoria, para un modelo pequeño más un conjunto grande de documentos o varios modelos cargados uno al lado del otro.
El chip más rápido: más núcleos y una Radeon mucho más grande, para cuando las respuestas necesitan volver más rápido en un modelo de tamaño medio.
No siempre. La mayoría de los modelos pequeños responden bien sin una. Una GPU dedicada vale su precio cuando te ocurre una de estas cuatro cosas.
01Tamaño del modelo
Un modelo que no cabe no funciona lento. No carga en absoluto. Una vez que los pesos más el espacio para conversaciones superan lo que la máquina contiene, necesitas una GPU elegida primero por su memoria. Nuestra guía de alojamiento de LLM calcula cuánta memoria necesita tu modelo.
02Personas a la vez
Responder a muchos usuarios juntos es para lo que están hechas la memoria rápida y el procesamiento por lotes de una GPU. Cuando las preguntas empiezan a hacer cola en un servidor Ryzen AI, esa cola es tu señal para mudarte a un servidor con GPU dedicada.
03El trabajo
El entrenamiento mantiene los pesos, los gradientes y el estado del optimizador en memoria al mismo tiempo, varias veces lo que necesita servir. Eso es trabajo de GPU, y para modelos más grandes puede significar un servidor con varias GPUs.
04Velocidad de respuesta
Si tus clientes sienten cada pausa, la memoria más rápida de una GPU es la verdadera solución. Un servidor Ryzen AI se adapta a trabajos donde una respuesta en unos segundos está bien: redacción, resúmenes, etiquetado, herramientas internas.
En un servidor Ryzen AI, el espacio rara vez es el problema. Ambas máquinas contienen los pesos de cada tamaño de modelo de abajo a 4 bits, con memoria restante para el sistema. El límite es la velocidad: cada palabra que escribe el modelo vuelve a leer los pesos, y la memoria del sistema lee más despacio que la memoria de una GPU. Una persona con un modelo pequeño no lo notará. Una cola de personas sí.
| Tamaño del modelo | Pesos a 4 bits | Pesos a 8 bits | Pesos a 16 bits |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Estos son solo los pesos. Presupuesta entre un cuarto y la mitad más encima para conversaciones y el entorno de ejecución. Para comparar, los servidores Ryzen AI llevan 128 GB y 64 GB de memoria. No publicamos ninguna cifra de velocidad para estas máquinas, porque cambia con cada modelo y entorno de ejecución. Prueba tu propio modelo en una, o pregúntanos por chat qué esperar.
La NPU de un chip Ryzen AI es real, pero no es la parte que la mayoría de la gente acaba usando. Esto es para lo que sirve cada opción.
ANPU
Ejecuta modelos a través del software Ryzen AI propio de AMD. La mayoría de los entornos de ejecución de modelos abiertos que la gente despliega usan el procesador y la Radeon integrada en su lugar. Alquila una por mes para probar las herramientas de NPU en hardware real antes de comprometerte a más.
BMemoria unificada
La misma idea que Ryzen AI en la gama alta: una GPU que puede direccionar 128 GB de memoria en una máquina compacta. Vale la pena mirarla cuando quieres ajustar o ejecutar un modelo grande en una GPU NVIDIA pero aun así servir a una audiencia pequeña. Ver el servidor DGX Spark.
CGPU dedicada
Una GPU dedicada tiene su propia memoria rápida, así que responde a más personas más rápido y es la única opción real para el ajuste fino. Cada GPU que instalamos tiene precio junto al servidor exacto en el que va en nuestra página de servidores con GPU.
Cuéntanos tu modelo y cuántas personas lo usarán. Nuestro chat en vivo responde en segundos y te indicará un servidor Ryzen AI o un servidor con GPU, y hay una persona si la quieres.