AMD Ryzen AI 9
İkisinin daha geniş olanı: küçük bir modelin yanına büyük bir belge kümesi ya da yan yana yüklenmiş birkaç model için en fazla bellek.
- Çekirdek12
- Bellek128 GB
- Çip üzerinde grafikAMD Radeon 890M
- AI hesaplama, CPU + GPU + NPU80 TOPS
AI çıkarımı · Donanımı seçmek
Ryzen AI mı, özel GPU mu: modelinizin hangisine ihtiyacı var?
Ryzen AI ile özel GPU arasındaki seçim iki şeye dayanır: modelinizin ne kadar büyük olduğu ve aynı anda kaç kişinin ona soru sorduğu. Tek kişi için küçük, nicemlenmiş bir model, dahili bir araç ya da gece çalışan bir toplu iş, kendi sistem belleğinden bir Ryzen AI sunucusunda iyi çalışır; faturanızda boşta bekleyen bir GPU olmaz. Model o belleği aştığında, aynı anda bir kalabalık sormaya başladığında, ince ayar yapmaya giriştiğinizde ya da müşterilerinizin parasını ödediği şey hızlı yanıtlar olduğunda özel bir GPU'ya ihtiyacınız olur.
| Kontrol | Ryzen AI yeterli | GPU kiralayın |
|---|---|---|
| 01Model boyutu | Sistem belleğine rahat payla sığar | Bellekten büyük ya da büyüyor |
| 02Aynı anda kişi sayısı | Tek kişi ya da küçük bir ekip | Aynı anda çok sayıda kullanıcı |
| 03İş | Yanıt sunma, toplu iş | İnce ayar ya da eğitim |
| 04Yanıt hızı | Saniyeler yeterli | Her milisaniye fark eder |
01
Bir Ryzen AI sunucusunun GPU olmadan zaten yaptıkları
Bir GPU'ya para ödemeden önce, onsuz neler elde ettiğinize bakın. Her Ryzen AI sunucusu size ait eksiksiz bir makinedir: aynı çip üzerinde Radeon grafikli ve NPU'lu bir AMD işlemci; hepsi makinenin kendi belleğini okur. Çoğu çıkarım işi için işin tamamı budur.
AMD Ryzen AI Max+ 395
Daha hızlı çip: orta boy bir modelde yanıtların daha çabuk dönmesi gerektiğinde daha çok çekirdek ve çok daha büyük bir Radeon.
- Çekirdek16
- Bellek64 GB
- Çip üzerinde grafikAMD Radeon 8060S
- AI hesaplama, CPU + GPU + NPU126 TOPS
- Makinenin tamamı sizindir, üzerinde başka kiracı yoktur
- Tam root erişimi ve kendi sürümlerinizle kendi çalışma zamanınız
- Modeller, belgeler ve kontrol noktaları için NVMe depolama
- Hiçbir şeyin ölçmediği 1 Gbps bağlantı noktası, ayrıca bir IPv4 adresi
- Canlı sohbette yardım: yapay zekâmız saniyeler içinde yanıt verir ve sunucunuzu kontrol edebilir; siz istediğinizde bir kişi katılır
- GPU için yuva yok: sonradan gerekirse bir GPU sunucusuna geçersiniz
02
AI çıkarımı için GPU'ya ihtiyacım var mı? İhtiyacınız olduğunu gösteren dört işaret
Her zaman değil. Çoğu küçük model onsuz da iyi yanıt verir. Özel bir GPU, şu dört şeyden biri başınıza geldiğinde fiyatına değer.
01Model boyutu
Modeliniz artık belleğe sığmıyor
Sığmayan bir model yavaş çalışmaz. Hiç yüklenmez. Ağırlıklar artı konuşmalar için gereken alan makinenin taşıdığını aştığında, önce belleğine göre seçilmiş bir GPU'ya ihtiyacınız olur. LLM barındırma rehberimiz modelinizin ne kadar belleğe ihtiyaç duyduğunu hesaplar.
02Aynı anda kişi sayısı
Aynı anda çok sayıda kişi soruyor
Birçok kullanıcıya birlikte yanıt vermek, bir GPU'nun hızlı belleğinin ve toplu işlemenin tam da yapılmak üzere kurulduğu iştir. Sorular bir Ryzen AI sunucusunda kuyruğa girmeye başladığında, o kuyruk özel bir GPU sunucusuna geçme işaretinizdir.
03İş
İnce ayar yapmaya başlıyorsunuz
Eğitim; ağırlıkları, gradyanları ve optimize edici durumunu aynı anda bellekte tutar; bu, sunumun gerektirdiğinin birkaç katıdır. Bu GPU işidir ve daha büyük modeller için birkaç GPU'lu bir sunucu anlamına gelebilir.
04Yanıt hızı
Hızlı yanıtlar ürününüzün bir parçası
Müşterileriniz her duraksamayı hissediyorsa asıl çözüm bir GPU'nun daha hızlı belleğidir. Bir Ryzen AI sunucusu, birkaç saniyede gelen yanıtın yeterli olduğu işlere uygundur: taslak hazırlama, özetler, etiketleme, dahili araçlar.
03
CPU çıkarımı mı, GPU sunucusu mu: neyin yükleneceğine bellek karar verir, kimin bekleyeceğine hız
Bir Ryzen AI sunucusunda alan nadiren sorundur. Her iki makine de aşağıdaki her model boyutunun ağırlıklarını 4 bitte tutar ve sistem için bellek kalır. Sınır hızdır: modelin yazdığı her sözcük ağırlıkları yeniden okur ve sistem belleği, bir GPU'daki bellekten daha yavaş okur. Küçük bir modelde tek kişi bunu fark etmez. Bir kuyruk dolusu insan fark eder.
| Model boyutu | 4 bitte ağırlıklar | 8 bitte ağırlıklar | 16 bitte ağırlıklar |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Bunlar yalnızca ağırlıklardır. Konuşmalar ve çalışma zamanı için üstüne dörtte bir ila yarım oranında daha pay ayırın. Karşılaştırma için Ryzen AI sunucuları 128 GB ve 64 GB bellek taşır. Bu makineler için hız rakamı yayımlamıyoruz çünkü her model ve çalışma zamanıyla değişir. Kendi modelinizi birinde test edin ya da sohbette bize ne beklemeniz gerektiğini sorun.
04
NPU ile GPU çıkarımı ve aradaki seçenekler
Ryzen AI çipindeki NPU gerçektir, ancak çoğu insanın sonunda kullandığı parça o değildir. Her seçeneğin neye uygun olduğu şöyle:
ANPU
Ryzen AI NPU
Modelleri AMD'nin kendi Ryzen AI yazılımı üzerinden çalıştırır. İnsanların dağıttığı açık model çalışma zamanlarının çoğu bunun yerine işlemciyi ve yerleşik Radeon'u kullanır. Daha fazlasına bağlanmadan önce NPU araçlarını gerçek donanımda test etmek için aylık kiralayın.
BBirleşik bellek
DGX Spark
Ryzen AI ile üst uçta aynı fikir: kompakt bir makinede 128 GB belleğe erişebilen bir GPU. Bir NVIDIA GPU üzerinde ince ayar yapmak ya da büyük bir model çalıştırmak isteyip yine de küçük bir kitleye hizmet etmek istediğinizde bakmaya değer. DGX Spark sunucusuna bakın.
CÖzel GPU
Bir GPU sunucusu
Özel bir GPU'nun kendi hızlı belleği vardır; bu yüzden daha çok kişiye daha hızlı yanıt verir ve ince ayar için tek gerçek seçenektir. Takıtığımız her GPU, GPU sunucuları sayfamızda içine girdiği sunucuya göre fiyatlandırılır.
05
İnsanların seçmeden önce sorduğu sorular
01AI çıkarımı için GPU'ya ihtiyacım var mı?
Hafif trafikli küçük, nicemlenmiş bir model için hayır. Bir Ryzen AI sunucusu onu sistem belleğinden, tek kişiye, dahili bir araca ya da bir toplu iş kuyruğuna uygun bir hızda çalıştırır. Model bellekten büyük olduğunda, aynı anda çok kişi kullandığında, ince ayar yaptığınızda ya da müşterileriniz için yanıt hızı önemli olduğunda özel bir GPU'ya ihtiyacınız olur.
02Bir Ryzen AI sunucusu, bir GPU sunucusuyla nasıl karşılaştırılır?
Aynı işi farklı bellekle yaparlar. Bir Ryzen AI sunucusu modeli sistem belleğinde tutar; bu bellek fiyatına göre bol ama okuması daha yavaştır. Bir GPU sunucusu modeli GPU'nun kendi belleğinde tutar; bu bellek daha kıt ve çok daha hızlıdır. Aralarında model boyutunuz ve trafiğiniz karar verir.
03NPU modelimi çalıştırır mı?
AMD'nin Ryzen AI yazılımı üzerinden çalıştırabilir. Çoğu açık model çalışma zamanı bunun yerine işlemciyi ve yerleşik Radeon grafiği kullanır; bu yüzden araçlarınız NPU'yu hedeflemiyorsa onlara göre plan yapın. Her iki durumda da çipin üzerindedir ve onu kullanmanızı engelleyen hiçbir şey yoktur.
04Sonradan bir Ryzen AI sunucusuna GPU ekleyebilir miyim?
Hayır. Bu makinelerde GPU için yuva yoktur. Birini aşarsanız onun yerine bir GPU sunucusuna geçersiniz ve bu geçişi planlamanıza sohbette yardımcı olabiliriz.
05Kurulumumu birinden diğerine taşımama yardımcı olabilir misiniz?
Evet. Konteynerlerinizi, modellerinizi ve verilerinizi getirin; sipariş vermeden önce canlı sohbette ne çalıştırdığınızı bize söyleyin. Yapay zeka asistanımız saniyeler içinde yanıt verir, hesabınıza ve sunucularınıza bakabilir; siz istediğinizde ekibimizden bir kişi devralır.
06Fiyatlar nerede?
Ryzen AI sunucuları Ryzen AI sayfasında canlı fiyatlandırılır ve her GPU, içine girdiği sunucuyla birlikte GPU sunucuları sayfasında fiyatlandırılır. Onları orada tutmak, her zaman bugünün fiyatını görmenizi sağlar.
Hangi tarafta olduğunuzdan hâlâ emin değil misiniz?
Bize modelinizi ve onu kaç kişinin kullanacağını söyleyin. Canlı sohbetimiz saniyeler içinde yanıt verir ve sizi bir Ryzen AI sunucusuna ya da bir GPU sunucusuna yönlendirir; isterseniz orada bir kişi de vardır.