铭凡 MS-S1 MAX：本地部署 vs 云 API/云 GPU
一份可量化的成本决策模型

一、结论速览

• 三个必须先记住的数字：128G 整机实价 ≈ 2.5–2.6 万元（非 V2 所称 1.5 万）；单台全月满载产出上限 ≈ 0.4–1.1 亿 tokens（带宽 256 GB/s 锁死）；纯成本打平线 ≈ 月耗 8.9 亿 tokens——但该量级单台产能根本覆盖不到（差 27–77 倍）。
• 低用量（月耗 <1 亿）：月 API 费仅 90–250 元，本地硬件无论怎么算都回不了本 → 纯云 API；
• 中用量且有隐私需求（1–2 亿）：本地 128G 专跑 MoE 模型做分流节点，云端跑非敏感重活；
• 高用量（>2 亿，尤其 >8.9 亿）：单台 UMA 出局，答案是多机/云 GPU/API 集群，不是买一台 128G。
• 192G 版本不推荐：5 万元只为「勉强跑 284B（15 tok/s）」——15 tok/s 是「能出字、不流畅」档位，多花的钱买不到体验。

二、硬件事实：规格与真实价格

2.1 关键规格

2.2 128G 真实价格（2026-09-06 电商/官方检索）

128G 正规渠道当前价在 2.5–2.6 万元区间；未检索到「约 1.5 万」的真实在售 SKU（该数字疑为 64G 版或首发特定渠道价被错位引用）。

192G 版本：约 5 万元档（海外报价约 7000 美元）。多花的 ~2.4 万只买到「加载 284B INT4（15 tok/s）」这一项能力——流畅度不达标，故本文后续测算以 128G 为主。

三、模型选型：dense 与 MoE 是分水岭

UMA 机器的铁律：内存带宽（256 GB/s）决定解码速度，模型结构决定「吃带宽还是吃容量」。 dense（稠密）模型每生成一个 token 都要读一遍全部权重——模型越大越慢；MoE（混合专家）只激活一小部分参数——容量大、激活少，正是 UMA 的甜点。

• 本地主力建议：Qwen 3.8 系列 + INT8 量化（精度损失约 1–2%、省一半内存）；284B 级必须 INT4 且 192G 才勉强装下，不值；
• 原理提醒：若你的目标模型是 dense 且量化后仍 >60GB，256 GB/s 带宽下 decode 会显著慢于上表——下单前务必用 llama-bench 实测，别信宣传页「可跑 120B+」的容量话术（容量≠速度）；
• 本地跑得动 ≠ 跑得快：速度由带宽决定，容量只决定「装不装得下」。

四、替代方案价格基准（2026-09 讨论时点）

4.1 云 GPU 包月/日卡（UCloud 性价比首选）

腾讯/华为/阿里同档更贵（阿里 gn7i 48G ≈1.94 万/月），个人与小团队优先 UCloud；高校/科研有 30–60% 折扣。

4.2 云 API 定价与测算公式

月 API 费用 = 月总 Token 消耗（百万）× 综合单价（元/百万 tokens）
示例（闲时 2.25 元）：月耗 1 亿 tokens（100 百万）= 225 元/月
                      月耗 8.9 亿 tokens（890 百万）= 2,003 元/月
                      月耗 30 亿 tokens（3,000 百万）= 6,750 元/月

五、产能约束：单台 128G 一个月到底能产多少

这是讨论稿漏掉的一维：先有产能，才有资格谈省了多少钱。全月满载产出 = tok/s × 86,400 秒 × 30 天 = tok/s × 259.2 万（理想值，未扣维护/重试）：

由此两个推论：

• 「月耗 30 亿买 128G」不成立：30 亿 ÷ 单台月产能（0.39–1.13 亿）= 需满负荷跑 27–77 个月——产能差一两个数量级。30/50/100 亿档的真实选项只剩云 GPU/API 集群或多机；
• 产能覆盖得住的量级，月 API 费只有 90–250 元：而 2.6 万硬件按 36 个月折旧 ≈722 元/月——纯成本账上单台 128G 几乎永远亏，除非 ①替代的是 2.25 元/百万以上的高价档流量 ②存在隐私/合规溢价 ③多台并机摊薄折旧。

六、成本测算（统一口径版）

6.1 月费对照表

6.2 回本推导（严格按上述单价）

买硬件的回本月份 T = 硬件成本 ÷ 月省（月省 = 被本地替代的 API 月费）。T = 7.5 个月 ⇔ 月 API 费 = 2,000 元 ⇔ 月耗 ≈ 8.9 亿 tokens（此为纯成本打平线）。按实价 2.6 万计，T ≈ 26,000 ÷ 2,003 ≈ 13 个月。但注意：8.9 亿/月的量级需要 8–23 台 128G（见 6.1）——单台在打平线上永远「产不出那么多」，这就是买 128G 做高用量主力的死结。

6.3 那到底什么时候买硬件才成立？

• 隐私/合规硬需求（数据不得出境/上云）：为「不出域」付费，成本账次要——此时本地机器价值=合规保险；
• 替代的是高价档流量：若本地跑的是替代 5–30 元/百万 tokens 的旗舰模型任务，回本公式里的「月省」按实际替代单价重算（单价越高越值得买）；
• 多人共用把折旧摊薄：4–8 人共用一台、把它真正跑满，人均成本才成立；单台被跑满再并第二台（展开见第七节）。

七、多机并机：把「容量」与「隐私量」翻倍的正确姿势

定调三句话：① 多机并机解决的是容量/隐私量不够，不是省钱问题——N 台折旧 N 倍线性涨（N×≈722 元/月），而被替代的 API 费并不随台数涨；② 「并机」有三种形态，网络要求差一个数量级，选错形态=白花钱；③ 对 128G 铭凡，90% 的需求走形态一（网关 + 多台独立服务）就够；形态二（RDMA 跨机拆大模型）是 2026 年刚能复现的进阶玩法，专为「235B/671B 级模型必须本地跑」而存在。

7.1 三种并行形态：先分清你要哪一种

7.2 形态一落地：网关 + N 台，产能线性叠加（账要算清）

拓扑 = 1 台轻量网关（one-api/LiteLLM 做敏感度打标与路由）+ N 台 128G 各跑 1–2 个 MoE 服务（沿用第八节分级路由：涉密强制本地、非敏感可溢出云端）。产能 = 单台月产能 × N，近似线性。算账：

一个反向提醒：隐私量真大到需要 5 台以上（≈6 亿/月）时，先回第八节做一次分级路由审计——多数场景只有一小部分是涉密核心，把那部分留下本地、其余上云，正确动作通常是砍需求而不是加机器。

7.3 形态二落地：RDMA 跨机拆大模型（2026-09 时点 · 进阶玩法）

官方口径先摆正：铭凡官网实测「双单元 235B Q4 集群 = 10.87 tok/s（集群合计）」——两台 ≈5.2 万买到的 235B 集群，速率与 192G 单机跑 284B 的 15 tok/s 同属「能出字、不流畅」档，全月满载产出仅 ≈0.28 亿 tokens（10.87×259.2 万），等价 API 价值 ≈63 元/月。跨机拆分买的是容量（把装不下的模型装下），速度没有增益、甚至低于单机跑 MoE 档（1.13 亿/月）。真正有里程碑意义的是四单元集群实测跑起 DeepSeek-R1 671B Q4（380GB）（铭凡官网 2026 宣传口径）——4×128G 把「本地能跑的模型上限」从 ~120B 拉到 671B 级，这是形态二存在的唯一理由。

2026 年的生态底座已齐（比第九节单机观感更进一步）：vLLM on ROCm 已成 first-class 平台（官方 ROCm wheel 与 Docker 镜像、AMD CI 通过率 2026-01 已达 93%）；社区 2026-06 发布 Strix Halo 双机 RDMA 可复现指南（kyuz0/amd-strix-halo-vllm-toolboxes）：Intel E810 100GbE DAC 直连（双机无需交换机）、RoCE v2 延迟 ≈5μs（普通以太 68–100μs——跨机 TP 每层都要同步一次，百微秒级会让交互式推理卡死）、定制 librccl.so 补 gfx1151 的 RDMA 支持（上游 ROCm 未含）、Ray 编排 + vLLM TP=2。铭凡的 I/O 正是为这类玩法设计的：双 10GbE 网口 + USB4 V2 80Gbps×2 + PCIe x4（可插 RDMA 卡）+ 级联开关机/2U 机架——普通迷你主机只有单 2.5GbE，并机通信带宽先天不够。

但有三个诚实的前提：① 需定制 RCCL 补丁 + 特定内核参数（amd_iommu=off、gttsize≈124G 等），BIOS/内核一动就可能崩——定位「实验室/发烧友」，不是日常生产；② 10.87 tok/s 档只适合离线批量/非交互；③ 没有 100GbE 卡时可用自带的 USB4/雷电直连降级试水（TCP 路径 40–80Gbps，实测 235B 同样可跑通，丢的只是微秒级延迟优势）。

7.4 到底要不要并、并几台：可执行判据

• 不加机：隐私量 ≤ 单台产能 70%（MoE 档 ≈0.8 亿/月）且增长平稳 → 一台 128G 够，先把它真正跑满；
• 加第二台（形态一）：隐私量连续 3 个月 >0.8 亿/月且仍在涨、并确认这些量真不能上云 → 网关 + 2 台，按 7.2 表扩容；
• 上形态二（RDMA）：出现「单台装不下的模型必须本地跑」这一新需求（235B/671B 级），而不是量涨了 → 先用 USB4 直连试水，确认值得再上 100GbE 卡；
• 停下来重估：并机超过 5 台之前，先做一次分级路由审计——若 80% 的量其实可以上云，正确动作是砍需求，不是加机器。

八、混合调度与分级路由（落地版）

路由实现：单机用 LiteLLM / OpenRouter 做 API 聚合与规则路由；团队用 one-api 类网关 + 数据敏感度打标（涉密标签永不转发云端）。路由规则示例：Token <8,000 且非涉密 → 本地 MoE；涉密 → 强制本地；代码/长推理 → 云端；批量 → 周末队列。

九、系统与推理框架（2026-09 ROCm 现状）

部署步骤（修订版，Linux + Ollama）：

# 1. 装 ROCm 7.x 官方全栈（MS-S1 的 gfx1151 已官方支持，无需 HSA_OVERRIDE）
sudo amdgpu-install --usecase=rocm

# 2. 装 Ollama（自动探测 AMD GPU）
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:32b    # 本地 MoE/小模型，按实测选型

# 3. 先留档实测再上量（关键一步）
llama-bench -m 模型.gguf   # 记录 tok/s → 代入「月产能 = tok/s×259.2 万」

# 4. 启动服务并做 API 测试
ollama serve
curl http://localhost:11434/api/generate -d '{"model":"qwen3:32b","prompt":"你好"}'

十、修正版决策与行动清单

有没有隐私/合规硬需求（数据不得上云）？
├─ 没有 → 纯云 API 起步（月耗 <8.9 亿时永远最便宜）；量真起来了 → 云 GPU 或 API 集群
└─ 有 →
    ├─ 隐私量 ≤1 亿/月 → 一台 64–128G 本地跑 MoE（≈2.6 万，买的是合规不是省钱）
    ├─ 隐私量 1–2 亿/月 → 一台 128G 逼近满负荷 → 评估多台或混合
    └─ 隐私量 >2 亿/月 → 多机并机（见第七节，先形态一 2 台起步）；超过 5 台前先做分级路由重估

任何想买 128G 之前，先过三问：
① 我每月真正要本地跑的量（实测，不是估算）值不值 2.6 万硬件+电费+维护？
② 我的主力模型是 MoE 吗？（dense 大模型在 UMA 上会慢到失望）
③ 有没有更便宜的合规解？（如私有化 API 网关、区域化云）

参考来源与说明

· 本文为 2026-09-06 与 DeepSeek 对话输出（V1.0 + V2.0）的人工整理合并，并在整理时对价格/产能做独立复核修正，非独立原创调研；
· 硬件价格（2026-09-06 检索）：铭凡官网 MS-S1 MAX 产品页（美区价格）、京东自营/官方旗舰店在售 SKU（¥24,999–25,899）；欧盟官网 €3,999；
· 规格与实测参考：本地大模型完全指南（Strix Halo 规格、带宽与 MoE 实测）；AMD 官方规格（LPDDR5X-8000 四通道、256 GB/s、130W/160W）；
· ROCm 生态时点：AMD ROCm 官方博客（ROCm 7.x 支持矩阵）；AMD 官方博客（vLLM ROCm first-class）；
· 多机并机（2026-09 检索）：铭凡 MS-S1 MAX 官方页（双机 235B / 四机 671B 集群实测口径）；kyuz0 Strix Halo 双机 RDMA 集群指南（RoCE v2 + 定制 RCCL + vLLM TP）；
· 工具官网：Ollama · vLLM · LM Studio · llama.cpp · LiteLLM · OpenRouter
· 云 GPU 报价、API 定价、模型 tok/s 均含讨论稿自述成分，下单前以官网实时价与实测为准。

本文为个人技术研究与决策备忘，内容与价格仅为讨论时点参考，不构成任何投资、采购或部署建议；涉及的具体金额与速率请以官方实时数据为准。