四张R9700跑Qwen3.8：8人128K并发的首token要等2.5分钟

Reddit用户Anarchaotic在r/LocalLLaMA晒了一台4卡R9700服务器，总价约1.6万加元。机器给公司做多用户推理，处理敏感数据。此前他用Strix Halo 395+ 128GB跑了一年。

配置：

• CPU EPYC 7402P
• 主板 Asrock ROMED8-2T
• 内存 128GB DDR4 2666
• GPU 3张Gigabyte R9700加1张XFX R9700，全部限功耗210W
• 电源 Seasonic Prime TX-1600W
• 机箱 Phanteks Enthoo Pro 2 Server
• 风扇 前3x140mm，中3x120mm，后1x120mm

测试软件：Ubuntu 26.04.1，内核7.0，ROCm 10.1，Radiance v1.17.0，模型qwen3.8-next-flash-fp8-iq4r-moe.rad，4卡张量并行，KV cache fp8，主机前缀缓存32GB。每卡显存17.4GiB权重，KV cache每卡11.6GiB，总1.6M tokens，够8个200K会话。

结果：

• 短prompt约30 tokens输入、500输出：单用户187 tok/s；1/2/4/8用户总吞吐175/290/489/763 tok/s。
• 长上下文单用户：32K时195 tok/s，128K时189 tok/s，上下文长度几乎不影响写作速度。
• 8用户128K：Turn1同时冷启动，prefill总耗时151秒，所有人首token约2.5分钟；Turn2缓存命中99%，首token中位2.2秒，最坏2.46秒，每用户80 tok/s，总362 tok/s。
• 发帖者总结：prefill总吞吐约6800 tok/s，不随用户数变；跟进是这套机器的强项；冷prompt同时到达会被交错处理，大家同时等。

几个坑：主机前缀缓存要按用户数乘上下文配。早先只给12GB，8个64K跟进缓存命中71%，最坏首token 37.6秒，每用户9 tok/s；给32GB后98%命中，1.5秒，94 tok/s。README里四卡配置沿用了双卡的host-pool-mib 12288，四卡上专家层全在显存，池子每卡只放约312MiB，12GB每卡白占48GB内存，1024就够。

功耗限制：amdgpu驱动在sysfs暴露power1_cap，单位微瓦。R9700范围210到300W，设210W后4张卡能跑在1600W电源和普通插座上。可以用amd-smi，但参数名在ROCm版本间变过。发帖者写了一个systemd oneshot，等所有卡初始化完再读回值，避免一张卡停在300W。

温度：prefill时每张卡都撞210W功耗墙。最长一段8x128K把中间两张卡推到91C hotspot和92C memory。满载30分钟压力测试中间卡85到90C。机箱很大，装起来容易，满载噪音比空气净化器最高档还低。

社区讨论：有网友说，这套硬件的意义不止今天跑QFN 3.8。128GB显存和成熟的ROCm栈，留给下一波模型的空间更大，一年后可能本地跑出Opus 4.6级别。发帖者回应，最大的问号是自建4卡对比Mac Studio 256GB是否划算；网上把QFN 3.8吹成“Opus 5.1”级别，他自己测下来更接近一年前的Haiku。另有网友说用27B模型全BF16加BF16 KV，输出质量比flash-next量化版更稳，速度仍有70到100 tok/s，代价是图表速度减半。还有人提醒Gigabyte版R9700没用AMD公版PCB，Alphacool没有水冷头，想水冷只能选别家。

安全方面：共享文件数据走客户自己的Azure/AWS/GCP环境；其余放在加密NAS，异地安全设施。模型运行在单独机器，用户权限受限，无外网，只开放特定技能和命令。模型能访问的API几乎只读；需要写操作时走broker，broker只允许创建草稿、只发给之前联系过的人或内部、每小时有数量上限。SSH只通过Tailscale。

这台机器的跑分不算炸裂，但它把128GB显存、多用户长上下文和普通墙插放在了一起。对做敏感数据的小团队，这个组合比单用户峰值速度更有意思。