KI-Inferenz · Die Wahl der Hardware
Ryzen AI vs. dedizierte GPU läuft auf zwei Fragen hinaus: Wie groß ist Ihr Modell und wie viele Leute fragen es gleichzeitig? Ein kleines quantisiertes Modell für eine Person, ein internes Tool oder einen nächtlichen Batch läuft gut auf einem Ryzen-AI-Server aus dessen eigenem Systemspeicher, ohne dass eine GPU ungenutzt auf Ihrer Rechnung steht. Eine dedizierte GPU brauchen Sie, wenn das Modell aus diesem Speicher herauswächst, viele Nutzer gleichzeitig fragen, Sie mit dem Feintuning beginnen oder schnelle Antworten das sind, wofür Ihre Kunden bezahlen.
| Prüfung | Ryzen AI genügt | GPU mieten |
|---|---|---|
| 01Modellgröße | Passt mit Luft nach oben in den Systemspeicher | Größer als der Speicher oder wachsend |
| 02Gleichzeitige Nutzer | Eine Person oder ein kleines Team | Viele Nutzer zur gleichen Zeit |
| 03Die Aufgabe | Antworten liefern, Batch-Arbeit | Feintuning oder Training |
| 04Antwortgeschwindigkeit | Sekunden sind in Ordnung | Jede Millisekunde zählt |
Bevor Sie für eine GPU bezahlen, prüfen Sie, was Sie ohne eine bekommen. Jeder Ryzen-AI-Server ist eine vollständige eigene Maschine: ein AMD-Prozessor mit Radeon-Grafik und einer NPU auf demselben Chip, die alle aus dem eigenen Speicher der Maschine lesen. Für viele Inferenz-Aufgaben ist das bereits die ganze Arbeit.
Der großzügigere der beiden: der meiste Speicher, für ein kleines Modell plus einen großen Dokumentenbestand oder mehrere parallel geladene Modelle.
Der schnellere Chip: mehr Kerne und eine deutlich größere Radeon, für den Fall, dass Antworten bei einem mittelgroßen Modell schneller zurückkommen müssen.
Nicht immer. Die meisten kleinen Modelle antworten auch ohne gut. Eine dedizierte GPU ist ihren Preis wert, sobald eines dieser vier Dinge bei Ihnen eintritt.
01Modellgröße
Ein Modell, das nicht passt, läuft nicht langsam. Es lädt überhaupt nicht. Sobald die Gewichte plus Platz für Konversationen das übersteigen, was die Maschine bereithält, brauchen Sie eine GPU, die zuerst nach ihrem Speicher gewählt wird. Unser LLM-Hosting-Leitfaden rechnet aus, wie viel Speicher Ihr Modell benötigt.
02Gleichzeitige Nutzer
Viele Nutzer gleichzeitig zu bedienen, ist genau das, wofür der schnelle Speicher und das Batching einer GPU gebaut sind. Wenn sich auf einem Ryzen-AI-Server Fragen zu stauen beginnen, ist diese Warteschlange Ihr Zeichen, auf einen dedizierten GPU-Server zu wechseln.
03Die Aufgabe
Training hält Gewichte, Gradienten und den Optimierer-Zustand gleichzeitig im Speicher, ein Vielfaches von dem, was das Bereitstellen braucht. Das ist GPU-Arbeit, und bei größeren Modellen kann das einen Server mit mehreren GPUs bedeuten.
04Antwortgeschwindigkeit
Wenn Ihre Kunden jede Pause spüren, ist der schnellere Speicher einer GPU die eigentliche Lösung. Ein Ryzen-AI-Server passt für Aufgaben, bei denen eine Antwort in wenigen Sekunden in Ordnung ist: Entwürfe, Zusammenfassungen, Tagging, interne Tools.
Auf einem Ryzen-AI-Server ist Platz selten das Problem. Beide Maschinen halten die Gewichte jeder unten genannten Modellgröße mit 4 Bit, mit Speicher übrig für das System. Die Grenze ist die Geschwindigkeit: Jedes Wort, das das Modell schreibt, liest die Gewichte erneut, und Systemspeicher liest langsamer als der Speicher einer GPU. Eine Person mit einem kleinen Modell wird es nicht bemerken. Eine Warteschlange von Leuten schon.
| Modellgröße | Gewichte mit 4 Bit | Gewichte mit 8 Bit | Gewichte mit 16 Bit |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Das sind nur die Gewichte. Planen Sie noch einmal ein Viertel bis die Hälfte obendrauf für Konversationen und die Laufzeitumgebung. Zum Vergleich: Die Ryzen-AI-Server haben 128 GB und 64 GB Speicher. Wir veröffentlichen keine Geschwindigkeitsangabe für diese Maschinen, denn sie ändert sich mit jedem Modell und jeder Laufzeitumgebung. Testen Sie Ihr eigenes Modell auf einer davon oder fragen Sie uns im Chat, was Sie erwarten können.
Die NPU auf einem Ryzen-AI-Chip ist echt, aber sie ist nicht der Teil, den die meisten am Ende nutzen. Hier ist, wofür jede Option gut ist.
ANPU
Sie führt Modelle über AMDs eigene Ryzen-AI-Software aus. Die meisten Open-Model-Laufzeitumgebungen, die Leute einsetzen, nutzen stattdessen den Prozessor und die eingebaute Radeon. Mieten Sie eine monatsweise, um die NPU-Tools auf echter Hardware zu testen, bevor Sie sich auf mehr festlegen.
BVereinheitlichter Speicher
Dieselbe Idee wie Ryzen AI am oberen Ende: eine GPU, die 128 GB Speicher in einer kompakten Maschine adressieren kann. Ein Blick wert, wenn Sie auf einer NVIDIA-GPU feintunen oder ein großes Modell betreiben, aber trotzdem ein kleines Publikum bedienen möchten. Siehe den DGX-Spark-Server.
CDedizierte GPU
Eine dedizierte GPU hat ihren eigenen schnellen Speicher, beantwortet also mehr Anfragen schneller und ist die einzige echte Option für Feintuning. Jede GPU, die wir einbauen, ist mit dem genauen Server bepreist, in den sie kommt, auf unserer GPU-Server-Seite.
Nennen Sie uns Ihr Modell und wie viele Leute es nutzen werden. Unser Live-Chat antwortet in Sekunden und weist Sie auf einen Ryzen-AI-Server oder einen GPU-Server hin, und ein Mensch ist da, wenn Sie einen möchten.