两个量化模型并排跑,逐 token 看它们在哪分叉
inside-llm 用 llama.cpp 加载两个 GGUF,在浏览器里显示每个 token 的概率、采样链和分歧点,还能回放和分支。
量化后的模型和原模型差在哪,通常只能看 benchmark 分数。有人做了个工具,把这件事放到浏览器里,逐 token 看。
r/LocalLLaMA 上,AlternativeEnough352 发布 inside-llm,一个开源项目。它用 llama.cpp 加载一个或两个 GGUF 模型,在生成文本时把内部状态画出来。两个模型并排,同一段上下文,每个位置的概率、采样过程、分歧点都能看见。GGUF 是 llama.cpp 常用的模型格式,量化则是把权重精度降下来,换取更小的显存占用。

界面分几块。
Stream:每列一个模型,文字亮度对应 token 概率。A 和 B 会在哪里选不同的 token,用洋红色标出。两种模式,lockstep 让两个模型读同一段文本,按位置比较;free 让它们各自往下走,直到分叉。
Candidates:每次选择的完整分布,A/B 镜像条形图,熵、有效选项数、双向的 Jensen-Shannon 散度和 KL。
Gates:采样链逐级追踪,惩罚、top-k、top-p、min-p、温度、GBNF 语法。每一级剩下多少候选,分布怎么变,链的顺序和种子可配置。
Timeline:整段文本上 A/B 的熵和散度曲线,还有分支树。
Branching:点任意候选,从那里继续生成。分支留在树里,跳回某个节点是精确的,每个模型保留 KV-state 快照,不重新计算。
Logit lens:加 --lens,看每一层会预测什么,2D 图和 3D 浮雕。
Model picker:从文件夹选 A 和 B,或者搜 Hugging Face,一次下载同一个仓库的两个量化。只列出和 A 同 tokenizer 的 B,还会估算这对模型能不能塞进显存。
实现上,一个 C++17 进程直接链接 llama.cpp。每一步读 A 的完整 logits,B 在同一上下文上也读,算指标和采样链,用自己带种子的采样器画 token,所以运行可复现。紧凑二进制帧走 WebSocket 到 Svelte 5 + Canvas 2D 页面,3D 才懒加载 three.js。网页也嵌进二进制。同一套帧流压缩后就是录制会话,之后能在静态页面回放,不需要引擎、模型和 GPU。
运行方式:Linux glibc 2.35+ 和 Windows 的自包含包,CUDA 或 Vulkan,Vulkan 覆盖 AMD、Intel Arc、NVIDIA。解压运行,浏览器打开模型选择器。也可以 inside-llm -a A.gguf -b B.gguf。只监听 127.0.0.1,无账号,无遥测,MIT。
限制列得清楚:A 和 B 必须共用 tokenizer,比如同一模型的 Q4_K_M 和 Q8_0,base 加微调,或者同一家族保持 tokenizer 的不同尺寸。两个模型要同时放进显存,一次只用一块 GPU,核显不用,没有独显就回退 CPU,会很慢。纯文本,不支持分片 GGUF,不支持 embedding 模型。
量化损失通常以平均分出现,这个工具把它变成某个位置上的具体选择。对做本地部署的人来说,这比看一张分数表更直接。
作者在帖子里问,大家会先比较哪一对:imatrix 和非 imatrix,base 和 abliterated/微调,Unsloth UD 和标准量化。还问每个位置还想要什么指标。
跟帖里 eze-paz 说,需要更多这类东西,让人看见模型内部,别再相信 AI 是有意识的魔法。Oshden 说这像个实时的 benchmark 工具。bbqfetus 把它比作花哨的键盘文本预测,提到几年前有人写几个词,然后让预测补完整段,看会出什么。
代码和发布包在 GitHub:https://github.com/manuelgscom/inside-llm,项目页:https://manuelgs.com/en/inside-llm/。
发布时间: 2026-11-16 05:46