Wink Pings

更新 Strata 之后,模型快了,宝塔也塌了

一位 r/LocalLLaMA 用户升级 Strata 后,Qwen3.8-Flash-Next 生成 voxel 宝塔从半小时能出图变成跑一个半小时还失败。跟帖翻出来的原因,是几个默认开着的提速开关。

r/LocalLLaMA 上有个帖子,标题很直接:最新版 Strata 把我的 Qwen3.8-Flash-Next 变成了废物。

先补点背景。Strata 是跑本地大模型的推理引擎,社区里以死磕吞吐量出名。Qwen3.8-Flash-Next 是 Qwen 的新模型,楼主用的是 iq3_s 量化版本。

他的硬件是 RTX3080 10G 显存加 64G 内存,Linux 终端版,配 deepseek harness。之前一直停留在 Strata v0.1.42.0。为了试试 unsloth 的新模型,他把引擎升到了最新版。

测试用的 prompt 是生成一个体素场景:精细的日式宝塔、花园、树木、樱花,彩色 voxel,细节越多越好,最后塞进单个 HTML 文件。

旧版本 xhigh 档的四张输出:

xhigh 输出 1

xhigh 输出 2

xhigh 输出 3

xhigh 输出 4

默认档四张:

默认档输出 1

默认档输出 2

默认档输出 3

默认档输出 4

时间上,默认档 15 到 30 分钟,xhigh 50 分钟到 1 小时。东西基本能出来。

升级之后,同一个 prompt 跑 1 小时 32 分钟,失败。默认档那次更狠,把 262K 上下文全烧完才报错。

新版 xhigh,超时失败

新版默认档,耗尽上下文

楼主的描述是,新版总想搞个大场面,然后搞砸。旧版反而走朴素路线,东西能交付。他试了四五次,多数要么跑一个半小时出不来,要么卡在自我纠错里,修一处坏一处,最后什么都没成。

他还换过 unsloth 新的 iq4_xs 量化,一样乱。所以判断问题在 Strata 版本,不在模型。想退回 0.1.42.0 测 iq4_sx 会直接报错,这条路也堵了。

跟帖里很快有人给了解释。Choice_Celery9481 的说法是,Strata 这帮人推 TPS 推得太狠。原作者可能真懂 kernel,但贡献者不一定,不少 PR 就是让 Claude 把速度再顶一顶,没人管原理。他还说 Strata 有些 flag 别家引擎压根不用,对结果的影响比降量化还大。文档也烂,属于没有严格管理的 vibe coding 产物。

他自己的选择是停在 0.1.39,手动挑一些新 commit,自己做 fork 和文档。

具体能改的地方,几个人指向同一组环境变量。Maximum_Wallaby_8252 承认自己之前说错了,STRATA_ROUTE_TAIL_SKIP 到现在仍然默认开启,应该关掉。Gold_Coconut9777 贴了一份配置:

"env": {
  "STRATA_ROUTE_PRIOR": "0",
  "STRATA_KVA": "0",
  "STRATA_ROUTE_TAIL_SKIP": "0",
  "STRATA_PREFILL_CPU_SHARE": "0",
  "STRATA_HC_Q8": "1"
}

grebdlogr 补充,STRATA_ROUTE_TAIL_SKIP 的默认值是 7,改成 0 帮助很大。STRATA_ROUTE_PRIOR 会偏向已经躺在 VRAM 里的专家,也该关。

也有不同情况。LongjumpingEar6840 把整个代码库丢给 Claude 分析过,在 3090 加 64G 内存的配置上不存在这种取舍,因为模型整个装进显存,活跃专家全在 VRAM 里。他推测质量下降只在显存更小的时候出现。

替代方案在跟帖里被反复提到:Blackwell 架构看 Basalt,Ampere 看 Adamant,另外还有 strata-slim、PolyStrata、project-maya。有人抱怨 Basalt 在 Windows 上不停崩溃,连错误码都没有,想提 issue 都无从下手。

有条评论说得挺准:这类靠 vibe coding 堆吞吐的项目,应该拿参考实现做精度基准,现在有点失控了。下面有人问,那什么样的 benchmark 才算合适。这个问题没人回答。

发布时间: 2026-11-15 20:02