AMD Ryzen AI 9
两者中容量更大的一款：拥有最大内存，适合一个小模型加上大量文档集，或多个模型并排加载。
- 核心12
- 内存128 GB
- 芯片内置显卡AMD Radeon 890M
- AI 算力，CPU + GPU + NPU80 TOPS
AI 推理 · 硬件选择
Ryzen AI 与独立 GPU：你的模型需要哪一个？
Ryzen AI 与独立 GPU 的取舍归结为两点：模型有多大，以及同时有多少人向它提问。一个小型量化模型，供一个人使用、作为内部工具或夜间批处理，在 Ryzen AI 服务器上就能从自身系统内存中顺畅运行，账单上不会有一块闲置的 GPU。当模型超出内存容量、同时有大量用户提问、你开始微调，或者客户为快速回复付费时，你才需要独立 GPU。
| 检查项 | Ryzen AI 已足够 | 租用 GPU |
|---|---|---|
| 01模型大小 | 能装入系统内存且有余量 | 大于内存，或在不断增长 |
| 02同时使用人数 | 一个人或一个小团队 | 同一时间有许多用户 |
| 03任务类型 | 提供答案、批处理工作 | 微调或训练 |
| 04回复速度 | 几秒钟可以接受 | 每一毫秒都很关键 |
01
Ryzen AI 服务器在没有 GPU 的情况下已经能做到的事
在花钱租 GPU 之前，先看看没有它你能得到什么。每台 Ryzen AI 服务器都是一台完全属于你的整机：AMD 处理器在同一芯片上集成了 Radeon 显卡和 NPU，全部读取机器自身的内存。对于大量推理工作来说，这已经足够了。
AMD Ryzen AI Max+ 395
速度更快的芯片：更多核心和更大的 Radeon 显卡，适合中型模型需要更快回复的场景。
- 核心16
- 内存64 GB
- 芯片内置显卡AMD Radeon 8060S
- AI 算力，CPU + GPU + NPU126 TOPS
- 整台机器归你所有，没有其他租户
- 完整的 root 权限和你自己的运行时，使用你自己的版本
- 用于模型、文档和检查点的 NVMe 存储
- 一个不限流量的 1 Gbps 端口，外加一个 IPv4 地址
- 在线聊天帮助：我们的 AI 几秒内回复，还能检查你的服务器，需要时人工客服随时加入
- 没有 GPU 插槽：如果以后需要，你可以迁移到 GPU 服务器
02
AI 推理需要 GPU 吗？四个信号告诉你需要
并非总是需要。大多数小模型没有 GPU 也能正常回答。当以下四种情况之一发生在你身上时，独立 GPU 才物有所值。
01模型大小
你的模型不再能装入内存
装不下的模型不是运行慢，而是根本无法加载。当权重加上对话所需空间超过机器容量时，你需要首先按内存来挑选 GPU。我们的 LLM 托管指南 可以帮你计算模型需要多少内存。
02同时使用人数
许多人同时提问
同时为大量用户作答正是 GPU 快速内存和批处理能力的用武之地。当 Ryzen AI 服务器上的问题开始排队时，这个队列就是你应该迁移到 独立 GPU 服务器 的信号。
03任务类型
你开始微调
训练需要同时在内存中保存权重、梯度和优化器状态，是推理所需的好几倍。这是 GPU 的工作，对于更大的模型，可能意味着需要 一台配备多块 GPU 的服务器。
04回复速度
快速回复是你产品的一部分
如果你的客户能感受到每一次停顿，GPU 更快的显存才是真正的解决方案。Ryzen AI 服务器适合几秒钟内给出答案即可的工作：起草、摘要、打标签、内部工具。
03
CPU 推理与 GPU 服务器：内存决定能加载什么，速度决定谁在等待
在 Ryzen AI 服务器上，空间很少成为问题。两台机器都能以 4-bit 精度容纳以下所有模型大小的权重，并为系统留出内存。限制在于速度：模型每生成一个词都要重新读取权重，而系统内存的读取速度比 GPU 显存慢。一个人使用小模型不会察觉，但排队的人群会。
| 模型大小 | 4-bit 权重 | 8-bit 权重 | 16-bit 权重 |
|---|---|---|---|
| 7-8B | 5 GB | 8 GB | 16 GB |
| 13-14B | 8 GB | 14 GB | 28 GB |
| 30-34B | 19 GB | 34 GB | 68 GB |
| 70B | 38 GB | 70 GB | 140 GB |
这些只是权重。还需要在此基础上再预留四分之一到一半的空间用于对话和运行时。作为对比，Ryzen AI 服务器配备 128 GB 和 64 GB 的内存。我们不公布这些机器的速度数据，因为它会随每个模型和运行时变化。在一台机器上测试你自己的模型，或在聊天中问我们预期表现如何。
04
NPU 与 GPU 推理，以及介于两者之间的选项
Ryzen AI 芯片上的 NPU 是真实存在的，但它并不是大多数人最终使用的部分。以下是每个选项的适用场景。
ANPU
Ryzen AI NPU
它通过 AMD 自家的 Ryzen AI 软件运行模型。大多数人部署的开源模型运行时使用的是处理器和内置 Radeon 显卡。可以按月租一台，在真实硬件上测试 NPU 工具，再决定是否进一步投入。
B统一内存
DGX Spark
与 Ryzen AI 相同的理念，但定位高端：一台紧凑机器中的 GPU 可以寻址 128 GB 内存。当你希望在 NVIDIA GPU 上微调或运行大模型，同时仍服务于少量用户时，值得考虑。参见 DGX Spark 服务器。
C独立 GPU
GPU 服务器
独立 GPU 拥有自己的快速显存，因此能更快地为更多人提供回答，也是微调唯一现实的选择。我们安装的每一块 GPU 都在 我们的 GPU 服务器页面 上与其所在的确切服务器一起标价。
05
人们在选择前常问的问题
01AI 推理需要 GPU 吗？
对于流量不大的小型量化模型，不需要。Ryzen AI 服务器从系统内存运行它，速度适合一个人、一个内部工具或批处理队列。当模型大于内存、许多人同时使用、你需要微调，或回复速度对你的客户很重要时，才需要独立 GPU。
02Ryzen AI 服务器与 GPU 服务器相比如何？
它们做同样的工作，但使用不同的内存。Ryzen AI 服务器将模型保存在系统内存中，价格上容量充裕但读取较慢。GPU 服务器将模型保存在 GPU 自己的显存中，容量更稀缺但速度快得多。你的模型大小和流量决定选择哪一个。
03NPU 能运行我的模型吗？
可以，通过 AMD 的 Ryzen AI 软件。不过大多数开源模型运行时使用的是处理器和内置 Radeon 显卡，所以除非你的工具针对 NPU，否则应计划使用前者。无论如何 NPU 都在芯片上，不妨碍你使用它。
04以后能给 Ryzen AI 服务器加装 GPU 吗？
不能。这些机器没有 GPU 插槽。如果你的需求超出它的能力，可以迁移到 GPU 服务器，我们可以在聊天中帮你规划迁移。
05你们能帮我把配置从一台迁移到另一台吗？
可以。带上你的容器、模型和数据，在下单前通过在线聊天告诉我们你运行的内容。我们的 AI 助手几秒内回复，还能查看你的账户和服务器，需要时我们团队的人工客服随时接手。
06价格在哪里？
Ryzen AI 服务器在 Ryzen AI 页面 上实时标价，每块 GPU 都在 GPU 服务器页面 上与其所在服务器一起标价。这样你总能看到的都是当天价格。
还不确定你属于哪一边？
告诉我们你的模型以及将有多少人使用。我们的在线聊天几秒内回复，会为你指向 Ryzen AI 服务器或 GPU 服务器，需要时人工客服也在。