8张3090塞进鞋柜:192GB显存的家用LLM服务器,冬天顺便取暖
Reddit用户dazzou5ouh晒出一台8卡3090家用LLM服务器:192GB显存,双电源,改装驱动开P2P,单路约60 tok/s,10路并发合计370 tok/s,空闲功耗300W。跟帖里有人算电费,有人问能不能煎蛋。
Reddit 的 r/LocalLLaMA 版上,用户 dazzou5ouh 晒了一台装完并跑稳的 8 卡 3090 机器。标题写得很实在:AI Rig finally done and stable, perfect winter heater。冬天取暖这个说法,后面跟帖里还有更多人接了下去。

配置先说清楚。8 张技嘉 Gaming OC 3090,型号统一,楼主说自己强迫症,受不了混用不同卡。卡是 2026 年初买的,赶在价格疯涨之前,均价大约 600 到 700 英镑一张。主板用 Romed8-2t,大部分卡跑满 PCIe 4.0 x16,最右边两张共享一个插槽,各跑 x8。
散热部分有点绕。CPU 上了水冷,冷排放顶部,原因是显卡下面没空间塞风冷。显卡竖着排,用阿里 Express 的便宜 PCIe 4.0 延长线,左边两张最长的线分别是 60cm 和 40cm。
供电用了两个电源,AX1600i 和 HX1500i。一个带 5 张显卡,另一个带主板和 3 张显卡。每张卡还会从主板取大约 50W。功耗限制设到 270W。驱动是改过的 Nvidia 版本,用来打开显卡之间的 P2P 通信,实测 22GB/s,跑 x8 的那两张除外。
性能方面,楼主在 vLLM 上跑了某个量化版本的 qwen flash next,也试了 opencode。单 agent 生成大约 60 tok/s,10 个 agent 并行时,合计峰值到 370 tok/s。8 张 3090,每张 24GB 显存,总共 192GB。这个显存容量是整台机器最核心的卖点。
楼主自己也说,越看现在市面上的产品,越觉得这台家用机器有点怪物。它当然费电,整机空闲 300W。有跟帖估算满载接近 2 千瓦,电费不会客气。
跟帖里有人调侃,这机器能装很多 AI 女友。有人说英国家里一楼在装修,没燃气没热水,楼上的 LLM 服务器正好保暖,现在只差研究怎么安全地在上面煎蛋。还有人问微调计划和 NVLink 有没有帮助,楼主没展开。
性能数字也有人质疑。一位网友说自己两张 R9700 能跑 180 tok/s 以上,另一位说 HALO Strix 笔记本用 Halogen 和 QFN 大约 70 tok/s。后面有人追问量化设置。模型、量化、上下文长度不一样,直接对比意义有限,但这些数字放在一起看,至少说明单路 60 tok/s 不算离谱,10 路并发的总吞吐更能体现这堆显存的用途。
还有人问这是跑 LLM 还是挖矿。有人说机箱看着太体面,鞋柜加分。有人讨论空闲功耗,提到挂起和恢复 GPU 可以把功耗压下来,自己的机器降到了 245W。也有人问整机空闲功耗,楼主回答墙插 300W,CPU 是 Epyc 7502。
这台机器的账很清楚:显存密度高,性能有模有样,电费和散热也实实在在。冬天当暖气,属于附赠功能。
原帖:https://www.reddit.com/r/LocalLLaMA/comments/1xwc3m7/ai_rig_finally_done_and_stable_perfect_winter/
发布时间: 2026-11-15 04:13