AMD Ryzen AI 9
Το πιο ευρύχωρο από τα δύο: η περισσότερη μνήμη, για ένα μικρό μοντέλο συν ένα μεγάλο σύνολο εγγράφων ή πολλά μοντέλα φορτωμένα δίπλα-δίπλα.
- Πυρήνες12
- Μνήμη128 GB
- Γραφικά στο τσιπAMD Radeon 890M
- Υπολογιστική AI, CPU + GPU + NPU80 TOPS
Συμπερασμός AI · Επιλέγοντας το υλικό
Ryzen AI εναντίον αποκλειστικής GPU: ποια χρειάζεται το μοντέλο σας;
Η επιλογή μεταξύ Ryzen AI και αποκλειστικής GPU καταλήγει σε δύο πράγματα: πόσο μεγάλο είναι το μοντέλο σας και πόσοι άνθρωποι το ρωτούν ταυτόχρονα. Ένα μικρό κβαντισμένο μοντέλο για ένα άτομο, ένα εσωτερικό εργαλείο ή μια νυχτερινή παρτίδα τρέχει άνετα σε έναν διακομιστή Ryzen AI από τη δική του μνήμη συστήματος, χωρίς μια GPU να κάθεται αδρανής στον λογαριασμό σας. Χρειάζεστε αποκλειστική GPU όταν το μοντέλο ξεπερνά αυτή τη μνήμη, ένα πλήθος αρχίζει να ρωτά ταυτόχρονα, ξεκινάτε fine-tuning ή οι γρήγορες απαντήσεις είναι αυτό για το οποίο πληρώνουν οι πελάτες σας.
| Έλεγχος | Το Ryzen AI αρκεί | Νοικιάστε GPU |
|---|---|---|
| 01Μέγεθος μοντέλου | Χωρά στη μνήμη συστήματος με περιθώριο | Μεγαλύτερο από τη μνήμη, ή μεγαλώνει |
| 02Άτομα ταυτόχρονα | Ένα άτομο ή μια μικρή ομάδα | Πολλοί χρήστες την ίδια στιγμή |
| 03Η εργασία | Απαντήσεις, μαζικές εργασίες | Fine-tuning ή εκπαίδευση |
| 04Ταχύτητα απάντησης | Τα δευτερόλεπτα είναι εντάξει | Κάθε χιλιοστό του δευτερολέπτου μετρά |
01
Τι κάνει ήδη ένας διακομιστής Ryzen AI χωρίς GPU
Πριν πληρώσετε για μια GPU, δείτε τι παίρνετε χωρίς αυτήν. Κάθε διακομιστής Ryzen AI είναι ένα ολόκληρο μηχάνημα δικό σας: ένας επεξεργαστής AMD με γραφικά Radeon και μια NPU στο ίδιο τσιπ, όλα διαβάζουν τη μνήμη του ίδιου του μηχανήματος. Για πολλές εργασίες συμπερασμού, αυτό είναι όλη η δουλειά.
AMD Ryzen AI Max+ 395
Το ταχύτερο τσιπ: περισσότεροι πυρήνες και πολύ μεγαλύτερη Radeon, για όταν οι απαντήσεις πρέπει να έρχονται πιο γρήγορα σε ένα μεσαίου μεγέθους μοντέλο.
- Πυρήνες16
- Μνήμη64 GB
- Γραφικά στο τσιπAMD Radeon 8060S
- Υπολογιστική AI, CPU + GPU + NPU126 TOPS
- Ολόκληρο το μηχάνημα είναι δικό σας, χωρίς άλλον ένοικο πάνω του
- Πλήρης πρόσβαση root και δικό σας runtime, στις δικές σας εκδόσεις
- Αποθήκευση NVMe για μοντέλα, έγγραφα και σημεία ελέγχου
- Μια θύρα 1 Gbps που τίποτα δεν μετρά, συν μια διεύθυνση IPv4
- Βοήθεια σε ζωντανή συνομιλία: η AI μας απαντά σε δευτερόλεπτα και μπορεί να ελέγξει τον διακομιστή σας, και ένα άτομο μπαίνει όταν το ζητήσετε
- Καμία υποδοχή για GPU: αν χρειαστείτε μία αργότερα, μετακινείστε σε διακομιστή GPU
02
Χρειάζομαι GPU για συμπερασμό AI; Τέσσερα σημάδια ότι τη χρειάζεστε
Όχι πάντα. Τα περισσότερα μικρά μοντέλα απαντούν μια χαρά χωρίς μία. Μια αποκλειστική GPU αξίζει την τιμή της μόλις σας συμβεί ένα από αυτά τα τέσσερα πράγματα.
01Μέγεθος μοντέλου
Το μοντέλο σας δεν χωρά πια στη μνήμη
Ένα μοντέλο που δεν χωρά δεν τρέχει αργά. Δεν φορτώνει καθόλου. Μόλις τα βάρη συν ο χώρος για συνομιλίες ξεπεράσουν ό,τι κρατά το μηχάνημα, χρειάζεστε μια GPU επιλεγμένη πρώτα από τη μνήμη της. Ο οδηγός φιλοξενίας LLM μας υπολογίζει πόση μνήμη χρειάζεται το μοντέλο σας.
02Άτομα ταυτόχρονα
Πολλοί άνθρωποι ρωτούν την ίδια στιγμή
Η απάντηση σε πολλούς χρήστες μαζί είναι αυτό για το οποίο φτιάχτηκαν η γρήγορη μνήμη και η ομαδοποίηση μιας GPU. Όταν οι ερωτήσεις αρχίζουν να μπαίνουν σε ουρά σε έναν διακομιστή Ryzen AI, αυτή η ουρά είναι το σημάδι σας να μετακινηθείτε σε έναν διακομιστή με αποκλειστική GPU.
03Η εργασία
Ξεκινάτε fine-tuning
Η εκπαίδευση κρατά τα βάρη, τις κλίσεις και την κατάσταση του βελτιστοποιητή στη μνήμη ταυτόχρονα, πολλές φορές ό,τι χρειάζεται η εξυπηρέτηση. Αυτό είναι δουλειά για GPU, και για μεγαλύτερα μοντέλα μπορεί να σημαίνει έναν διακομιστή με πολλές GPU.
04Ταχύτητα απάντησης
Οι γρήγορες απαντήσεις είναι μέρος του προϊόντος σας
Αν οι πελάτες σας νιώθουν κάθε παύση, η ταχύτερη μνήμη μιας GPU είναι η πραγματική λύση. Ένας διακομιστής Ryzen AI ταιριάζει σε εργασίες όπου μια απάντηση σε λίγα δευτερόλεπτα είναι εντάξει: προσχέδια, περιλήψεις, επισήμανση, εσωτερικά εργαλεία.
03
Συμπερασμός CPU εναντίον διακομιστή GPU: η μνήμη αποφασίζει τι φορτώνει, η ταχύτητα αποφασίζει ποιος περιμένει
Σε έναν διακομιστή Ryzen AI, ο χώρος σπάνια είναι το πρόβλημα. Και τα δύο μηχανήματα κρατούν τα βάρη κάθε μεγέθους μοντέλου παρακάτω στα 4-bit, με μνήμη να περισσεύει για το σύστημα. Το όριο είναι η ταχύτητα: κάθε λέξη που γράφει το μοντέλο διαβάζει ξανά τα βάρη, και η μνήμη συστήματος διαβάζει πιο αργά από τη μνήμη μιας GPU. Ένα άτομο σε ένα μικρό μοντέλο δεν θα το προσέξει. Μια ουρά ανθρώπων θα το προσέξει.
| Μέγεθος μοντέλου | Βάρη στα 4-bit | Βάρη στα 8-bit | Βάρη στα 16-bit |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
Αυτά είναι μόνο τα βάρη. Υπολογίστε ένα τέταρτο έως μισό επιπλέον από πάνω για συνομιλίες και το runtime. Για σύγκριση, οι διακομιστές Ryzen AI διαθέτουν 128 GB και 64 GB μνήμης. Δεν δημοσιεύουμε κανένα νούμερο ταχύτητας για αυτά τα μηχανήματα, γιατί αλλάζει με κάθε μοντέλο και runtime. Δοκιμάστε το δικό σας μοντέλο σε ένα, ή ρωτήστε μας στη συνομιλία τι να περιμένετε.
04
Συμπερασμός NPU εναντίον GPU, και οι επιλογές ενδιάμεσα
Η NPU σε ένα τσιπ Ryzen AI είναι πραγματική, αλλά δεν είναι το μέρος που καταλήγουν να χρησιμοποιούν οι περισσότεροι. Να τι είναι καλό για κάθε επιλογή.
ANPU
Η NPU Ryzen AI
Τρέχει μοντέλα μέσω του λογισμικού Ryzen AI της ίδιας της AMD. Τα περισσότερα ανοιχτά runtimes μοντέλων που αναπτύσσουν οι άνθρωποι χρησιμοποιούν τον επεξεργαστή και την ενσωματωμένη Radeon αντί αυτής. Νοικιάστε ένα ανά μήνα για να δοκιμάσετε τα εργαλεία NPU σε πραγματικό υλικό πριν δεσμευτείτε για περισσότερα.
BΕνοποιημένη μνήμη
Το DGX Spark
Η ίδια ιδέα με το Ryzen AI στην κορυφαία άκρη: μια GPU που μπορεί να διευθυνσιοδοτήσει 128 GB μνήμης σε ένα συμπαγές μηχάνημα. Αξίζει μια ματιά όταν θέλετε να κάνετε fine-tuning ή να τρέξετε ένα μεγάλο μοντέλο σε μια GPU NVIDIA αλλά να εξυπηρετείτε ακόμα ένα μικρό κοινό. Δείτε τον διακομιστή DGX Spark.
CΑποκλειστική GPU
Ένας διακομιστής GPU
Μια αποκλειστική GPU έχει τη δική της γρήγορη μνήμη, οπότε απαντά σε περισσότερους ανθρώπους πιο γρήγορα και είναι η μόνη πραγματική επιλογή για fine-tuning. Κάθε GPU που τοποθετούμε τιμολογείται σε σχέση με τον ακριβή διακομιστή στον οποίο μπαίνει στη σελίδα διακομιστών GPU μας.
05
Ερωτήσεις που κάνουν οι άνθρωποι πριν επιλέξουν
01Χρειάζομαι GPU για συμπερασμό AI;
Όχι για ένα μικρό κβαντισμένο μοντέλο με ελαφριά κίνηση. Ένας διακομιστής Ryzen AI το τρέχει από τη μνήμη συστήματος με ρυθμό που ταιριάζει σε ένα άτομο, ένα εσωτερικό εργαλείο ή μια ουρά παρτίδων. Χρειάζεστε αποκλειστική GPU όταν το μοντέλο είναι μεγαλύτερο από τη μνήμη, πολλοί άνθρωποι το χρησιμοποιούν ταυτόχρονα, κάνετε fine-tuning ή η ταχύτητα απάντησης έχει σημασία για τους πελάτες σας.
02Πώς συγκρίνεται ένας διακομιστής Ryzen AI με έναν διακομιστή GPU;
Κάνουν την ίδια δουλειά με διαφορετική μνήμη. Ένας διακομιστής Ryzen AI κρατά το μοντέλο στη μνήμη συστήματος, η οποία είναι άφθονη για την τιμή αλλά πιο αργή στην ανάγνωση. Ένας διακομιστής GPU το κρατά στη μνήμη της ίδιας της GPU, η οποία είναι πιο σπάνια και πολύ πιο γρήγορη. Το μέγεθος του μοντέλου σας και η κίνησή σας αποφασίζουν μεταξύ τους.
03Θα τρέξει η NPU το μοντέλο μου;
Μπορεί, μέσω του λογισμικού Ryzen AI της AMD. Τα περισσότερα ανοιχτά runtimes μοντέλων χρησιμοποιούν τον επεξεργαστή και τα ενσωματωμένα γραφικά Radeon αντί αυτής, οπότε υπολογίστε σε αυτά εκτός αν τα εργαλεία σας στοχεύουν την NPU. Είναι στο τσιπ έτσι κι αλλιώς, και τίποτα δεν σας εμποδίζει να τη χρησιμοποιήσετε.
04Μπορώ να προσθέσω μια GPU σε έναν διακομιστή Ryzen AI αργότερα;
Όχι. Αυτά τα μηχανήματα δεν έχουν υποδοχή για GPU. Αν ξεπεράσετε ένα, μετακινείστε σε έναν διακομιστή GPU αντί αυτού, και μπορούμε να σας βοηθήσουμε να σχεδιάσετε αυτή τη μετακίνηση στη συνομιλία.
05Μπορείτε να με βοηθήσετε να μετακινήσω τη ρύθμισή μου από το ένα στο άλλο;
Ναι. Φέρτε τα containers, τα μοντέλα και τα δεδομένα σας, και πείτε μας στη ζωντανή συνομιλία τι τρέχετε πριν παραγγείλετε. Ο βοηθός AI μας απαντά σε δευτερόλεπτα και μπορεί να δει τον λογαριασμό και τους διακομιστές σας, και ένα άτομο από την ομάδα μας αναλαμβάνει όποτε το ζητήσετε.
06Πού είναι οι τιμές;
Οι διακομιστές Ryzen AI τιμολογούνται ζωντανά στη σελίδα Ryzen AI, και κάθε GPU τιμολογείται με τον διακομιστή στον οποίο μπαίνει στη σελίδα διακομιστών GPU. Το να τις κρατάμε εκεί σημαίνει ότι βλέπετε πάντα τη σημερινή τιμή.
Ακόμα δεν είστε σίγουροι σε ποια πλευρά βρίσκεστε;
Πείτε μας το μοντέλο σας και πόσοι άνθρωποι θα το χρησιμοποιήσουν. Η ζωντανή συνομιλία μας απαντά σε δευτερόλεπτα και θα σας κατευθύνει σε έναν διακομιστή Ryzen AI ή έναν διακομιστή GPU, και ένα άτομο είναι εκεί αν το θέλετε.