AMD Ryzen AI 9
Przestronniejszy z dwóch: najwięcej pamięci, dla małego modelu plus dużego zestawu dokumentów lub kilku modeli załadowanych obok siebie.
- Rdzenie12
- Pamięć128 GB
- Grafika na chipieAMD Radeon 890M
- Obliczenia AI, CPU + GPU + NPU80 TOPS
Wnioskowanie AI · Wybór sprzętu
Ryzen AI kontra dedykowany GPU: którego potrzebuje Twój model?
Ryzen AI kontra dedykowany GPU sprowadza się do dwóch rzeczy: jak duży jest Twój model i ile osób zadaje mu pytania naraz. Mały skwantyzowany model dla jednej osoby, narzędzie wewnętrzne lub nocne zadanie wsadowe działa dobrze na serwerze Ryzen AI z własnej pamięci systemowej, bez GPU, które bezczynnie obciąża Twój rachunek. Dedykowany GPU jest potrzebny, gdy model wyrasta poza tę pamięć, tłum zaczyna pytać w tym samym czasie, zaczynasz dostrajanie lub szybkie odpowiedzi są tym, za co płacą Twoi klienci.
| Kontrola | Ryzen AI wystarczy | Wynajmij GPU |
|---|---|---|
| 01Rozmiar modelu | Mieści się w pamięci systemowej z zapasem | Większy niż pamięć lub rośnie |
| 02Osoby naraz | Jedna osoba lub mały zespół | Wielu użytkowników w tym samym czasie |
| 03Zadanie | Serwowanie odpowiedzi, praca wsadowa | Dostrajanie lub trenowanie |
| 04Szybkość odpowiedzi | Sekundy są w porządku | Każda milisekunda ma znaczenie |
01
Co serwer Ryzen AI robi już bez GPU
Zanim zapłacisz za GPU, sprawdź, co dostajesz bez niego. Każdy serwer Ryzen AI to cała maszyna tylko dla Ciebie: procesor AMD z grafiką Radeon i NPU na tym samym chipie, wszystkie czytające pamięć własną maszyny. W przypadku wielu zadań wnioskowania to cała robota.
AMD Ryzen AI Max+ 395
Szybszy chip: więcej rdzeni i znacznie większy Radeon, gdy odpowiedzi muszą wracać szybciej przy modelu średniej wielkości.
- Rdzenie16
- Pamięć64 GB
- Grafika na chipieAMD Radeon 8060S
- Obliczenia AI, CPU + GPU + NPU126 TOPS
- Cała maszyna jest Twoja, bez innych najemców
- Pełny dostęp root i własne środowisko uruchomieniowe, na własnych wersjach
- Pamięć NVMe na modele, dokumenty i punkty kontrolne
- Port 1 Gbps bez pomiaru ruchu, plus adres IPv4
- Pomoc na czacie na żywo: nasza AI odpowiada w sekundy i może sprawdzić Twój serwer, a człowiek dołącza, gdy poprosisz
- Brak gniazda na GPU: jeśli później go potrzebujesz, przenosisz się na serwer GPU
02
Czy potrzebuję GPU do wnioskowania AI? Cztery sygnały, że tak
Nie zawsze. Większość małych modeli odpowiada dobrze bez niego. Dedykowany GPU jest wart swojej ceny, gdy przytrafi Ci się jedna z tych czterech rzeczy.
01Rozmiar modelu
Twój model nie mieści się już w pamięci
Model, który się nie mieści, nie działa wolno. W ogóle się nie ładuje. Gdy wagi plus miejsce na rozmowy przekraczają to, co mieści maszyna, potrzebujesz GPU wybranego najpierw według pamięci. Nasz przewodnik po hostingu LLM wylicza, ile pamięci potrzebuje Twój model.
02Osoby naraz
Wiele osób pyta w tym samym czasie
Obsługa wielu użytkowników naraz to coś, do czego zbudowano szybką pamięć GPU i przetwarzanie wsadowe. Gdy pytania zaczynają się ustawiać w kolejce na serwerze Ryzen AI, ta kolejka to Twój sygnał, by przejść na dedykowany serwer GPU.
03Zadanie
Zaczynasz dostrajanie
Trenowanie trzyma w pamięci jednocześnie wagi, gradienty i stan optymalizatora, kilka razy więcej niż potrzebuje serwowanie. To praca dla GPU, a przy większych modelach może oznaczać serwer z kilkoma GPU.
04Szybkość odpowiedzi
Szybkie odpowiedzi są częścią Twojego produktu
Jeśli Twoi klienci odczuwają każdą pauzę, szybsza pamięć GPU to prawdziwe rozwiązanie. Serwer Ryzen AI pasuje do zadań, w których odpowiedź w kilka sekund jest w porządku: szkicowanie, streszczenia, tagowanie, narzędzia wewnętrzne.
03
Wnioskowanie CPU kontra serwer GPU: pamięć decyduje, co się ładuje, szybkość decyduje, kto czeka
Na serwerze Ryzen AI miejsce rzadko jest problemem. Obie maszyny mieszczą wagi każdego rozmiaru modelu poniżej w 4-bitach, z pamięcią zostawioną dla systemu. Ograniczeniem jest szybkość: każde słowo, które pisze model, czyta wagi ponownie, a pamięć systemowa czyta wolniej niż pamięć na GPU. Jedna osoba na małym modelu tego nie zauważy. Kolejka osób zauważy.
| Rozmiar modelu | Wagi w 4-bitach | Wagi w 8-bitach | Wagi w 16-bitach |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
To tylko wagi. Dodaj na wierzch ćwierć do połowy na rozmowy i środowisko uruchomieniowe. Dla porównania serwery Ryzen AI mają 128 GB i 64 GB pamięci. Nie publikujemy danych o szybkości tych maszyn, bo zmienia się z każdym modelem i środowiskiem. Przetestuj własny model na jednej z nich albo zapytaj nas na czacie, czego się spodziewać.
04
Wnioskowanie NPU kontra GPU i opcje pomiędzy
NPU na chipie Ryzen AI jest prawdziwy, ale to nie ta część, z której większość ludzi ostatecznie korzysta. Oto, do czego dobra jest każda opcja.
ANPU
NPU Ryzen AI
Uruchamia modele przez własne oprogramowanie AMD Ryzen AI. Większość środowisk uruchomieniowych dla modeli otwartych, które ludzie wdrażają, używa zamiast tego procesora i wbudowanego Radeona. Wynajmij jeden na miesiąc, by przetestować narzędzia NPU na prawdziwym sprzęcie, zanim zobowiążesz się do czegoś więcej.
BPamięć zunifikowana
DGX Spark
Ten sam pomysł co Ryzen AI na najwyższym poziomie: GPU, które może adresować 128 GB pamięci w jednej kompaktowej maszynie. Warte uwagi, gdy chcesz dostrajać lub uruchamiać duży model na GPU NVIDIA, ale wciąż obsługiwać małą publiczność. Zobacz serwer DGX Spark.
CDedykowany GPU
Serwer GPU
Dedykowany GPU ma własną szybką pamięć, więc odpowiada większej liczbie osób szybciej i jest jedyną realną opcją do dostrajania. Każdy GPU, który montujemy, jest wyceniony razem z dokładnym serwerem, do którego trafia, na naszej stronie serwerów GPU.
05
Pytania, które ludzie zadają przed wyborem
01Czy potrzebuję GPU do wnioskowania AI?
Nie do małego skwantyzowanego modelu przy lekkim ruchu. Serwer Ryzen AI uruchamia go z pamięci systemowej w tempie, które pasuje jednej osobie, narzędziu wewnętrznemu lub kolejce wsadowej. Dedykowany GPU jest potrzebny, gdy model jest większy niż pamięć, wiele osób używa go naraz, dostrajasz lub szybkość odpowiedzi ma znaczenie dla Twoich klientów.
02Jak serwer Ryzen AI wypada w porównaniu z serwerem GPU?
Wykonują to samo zadanie z inną pamięcią. Serwer Ryzen AI trzyma model w pamięci systemowej, której jest dużo w stosunku do ceny, ale czyta się ją wolniej. Serwer GPU trzyma go we własnej pamięci GPU, która jest rzadsza i znacznie szybsza. Rozmiar Twojego modelu i Twój ruch decydują między nimi.
03Czy NPU uruchomi mój model?
Może, przez oprogramowanie AMD Ryzen AI. Większość środowisk uruchomieniowych dla modeli otwartych używa zamiast tego procesora i wbudowanej grafiki Radeon, więc planuj na nich, chyba że Twoje narzędzia celują w NPU. Jest na chipie tak czy inaczej i nic nie stoi na przeszkodzie, by go używać.
04Czy mogę później dodać GPU do serwera Ryzen AI?
Nie. Te maszyny nie mają gniazda na GPU. Jeśli z jednej wyrośniesz, przenosisz się na serwer GPU, a my możemy pomóc Ci zaplanować tę przeprowadzkę na czacie.
05Czy pomożecie mi przenieść moją konfigurację z jednego na drugi?
Tak. Przynieś swoje kontenery, modele i dane i powiedz nam na czacie na żywo, co uruchamiasz, zanim zamówisz. Nasz asystent AI odpowiada w sekundy i może zajrzeć do Twojego konta i serwerów, a osoba z naszego zespołu przejmuje rozmowę, kiedykolwiek poprosisz.
06Gdzie są ceny?
Serwery Ryzen AI są wycenione na żywo na stronie Ryzen AI, a każdy GPU jest wyceniony razem z serwerem, do którego trafia, na stronie serwerów GPU. Trzymanie ich tam oznacza, że zawsze widzisz dzisiejszą cenę.
Nadal nie wiesz, po której jesteś stronie?
Powiedz nam, jaki masz model i ile osób będzie go używać. Nasz czat na żywo odpowiada w sekundy i wskaże Ci serwer Ryzen AI lub serwer GPU, a człowiek jest pod ręką, jeśli go chcesz.