Inférence IA · Choisir le matériel
Le choix entre Ryzen AI et un GPU dédié se résume à deux choses : la taille de votre modèle et le nombre de personnes qui l'interrogent en même temps. Un petit modèle quantifié pour une seule personne, un outil interne ou un traitement par lots nocturne tourne très bien sur un serveur Ryzen AI depuis sa propre mémoire système, sans GPU inutilisé qui reste sur votre facture. Il vous faut un GPU dédié quand le modèle dépasse cette mémoire, qu'une foule commence à poser des questions en même temps, que vous vous lancez dans le fine-tuning ou que vos clients paient pour des réponses rapides.
| Vérification | Ryzen AI suffit | Louer un GPU |
|---|---|---|
| 01Taille du modèle | Tient dans la mémoire système avec de la marge | Plus grand que la mémoire, ou en croissance |
| 02Personnes en même temps | Une personne ou une petite équipe | De nombreux utilisateurs au même moment |
| 03La tâche | Servir des réponses, du travail par lots | Fine-tuning ou entraînement |
| 04Vitesse de réponse | Quelques secondes suffisent | Chaque milliseconde compte |
Avant de payer pour un GPU, regardez ce que vous obtenez sans. Chaque serveur Ryzen AI est une machine complète qui vous appartient : un processeur AMD avec graphismes Radeon et un NPU sur la même puce, le tout lisant la mémoire propre de la machine. Pour beaucoup de travail d'inférence, c'est tout ce qu'il faut.
Le plus spacieux des deux : le plus de mémoire, pour un petit modèle plus un grand ensemble de documents ou plusieurs modèles chargés côte à côte.
La puce la plus rapide : plus de cœurs et un Radeon bien plus grand, pour des réponses plus rapides sur un modèle de taille moyenne.
Pas toujours. La plupart des petits modèles répondent très bien sans. Un GPU dédié vaut son prix dès que l'une de ces quatre choses vous arrive.
01Taille du modèle
Un modèle qui ne tient pas ne tourne pas lentement. Il ne se charge pas du tout. Une fois que les poids plus la place pour les conversations dépassent ce que la machine contient, il vous faut un GPU choisi d'abord pour sa mémoire. Notre guide d'hébergement LLM calcule la mémoire dont votre modèle a besoin.
02Personnes en même temps
Répondre à de nombreux utilisateurs ensemble, c'est ce pour quoi la mémoire rapide et le traitement par lots d'un GPU sont faits. Quand les questions commencent à s'accumuler sur un serveur Ryzen AI, cette file d'attente est votre signal pour passer à un serveur GPU dédié.
03La tâche
L'entraînement garde les poids, les gradients et l'état de l'optimiseur en mémoire en même temps, plusieurs fois ce que le service exige. C'est du travail de GPU, et pour les modèles plus grands cela peut signifier un serveur avec plusieurs GPU.
04Vitesse de réponse
Si vos clients ressentent chaque pause, la mémoire plus rapide d'un GPU est la vraie solution. Un serveur Ryzen AI convient aux tâches où une réponse en quelques secondes est acceptable : rédaction, résumés, étiquetage, outils internes.
Sur un serveur Ryzen AI, l'espace est rarement le problème. Les deux machines contiennent les poids de chaque taille de modèle ci-dessous en 4 bits, avec de la mémoire restante pour le système. La limite, c'est la vitesse : chaque mot que le modèle écrit relit les poids, et la mémoire système se lit plus lentement que la mémoire d'un GPU. Une personne sur un petit modèle ne le remarquera pas. Une file de personnes, si.
| Taille du modèle | Poids en 4 bits | Poids en 8 bits | Poids en 16 bits |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Ce sont les poids uniquement. Prévoyez encore un quart à la moitié en plus pour les conversations et le runtime. À titre de comparaison, les serveurs Ryzen AI embarquent 128 GB et 64 GB de mémoire. Nous ne publions aucun chiffre de vitesse pour ces machines, car il change avec chaque modèle et chaque runtime. Testez votre propre modèle sur l'une d'elles, ou demandez-nous sur le chat à quoi vous attendre.
Le NPU d'une puce Ryzen AI est réel, mais ce n'est pas la partie que la plupart des gens finissent par utiliser. Voici à quoi chaque option est bonne.
ANPU
Il exécute les modèles via le logiciel Ryzen AI d'AMD. La plupart des runtimes open-model que les gens déploient utilisent plutôt le processeur et le Radeon intégré. Louez-en un au mois pour tester les outils NPU sur du vrai matériel avant de vous engager davantage.
BMémoire unifiée
La même idée que Ryzen AI en haut de gamme : un GPU qui peut adresser 128 Go de mémoire dans une machine compacte. À considérer quand vous voulez faire du fine-tuning ou exécuter un grand modèle sur un GPU NVIDIA tout en servant encore un petit public. Voir le serveur DGX Spark.
CGPU dédié
Un GPU dédié a sa propre mémoire rapide, donc il répond à plus de personnes plus vite et c'est la seule vraie option pour le fine-tuning. Chaque GPU que nous installons est tarifé avec le serveur exact dans lequel il se trouve sur notre page des serveurs GPU.
Dites-nous votre modèle et combien de personnes l'utiliseront. Notre chat en direct répond en quelques secondes et vous orientera vers un serveur Ryzen AI ou un serveur GPU, et une personne est là si vous en voulez une.