Wink Pings

离线LLM安装最该先做的,是看你的显存

一个多步prompt把硬件探测、模型选择、Ollama安装和测速串起来。它没解决所有问题,但至少没让你先下载20GB再发现显存不够。

素材里的推文给了一个多步prompt:粘进任意agent,先扫描硬件,再从排行榜挑一个能跑的无审查开源模型,最后在本机用Ollama跑起来。推文没有附完整prompt文本,所以这里只拆流程,不虚构命令。

主图

流程分三步。

1/ 粘贴入口。Claude Code、Codex CLI、Gemini CLI、Cursor、OpenCode都能接。手机端走PocketPal。入口多不稀奇,关键是它把选模型交给agent之前,先让agent看机器。

2/ 扫CPU、RAM、GPU和VRAM。然后从UGI Leaderboard里给出一个能装下的模型,附尺寸和预期速度,等用户说yes。这个顺序比无审查口号有用。本地部署翻车,常见原因是显存不够、速度崩了、或者下错量化版本。模型聪不聪明经常不是第一变量。先知道机器能跑多大,再谈跑什么。

3/ 安装Ollama和模型,来源走官方,装完测速。速度慢就降一档尺寸。没有用户确认,什么都不下载。推文还提到一个bonus:用Heretic自己做abliteration,移除模型的拒绝行为。

推文里没有账号、没有API、聊天不被别人读是核心卖点。它跑在localhost,离线可用。有网友在回复里提到,网络不稳的人应该注意这点,断线时离线模型仍然有用。另一个回复说,扫描笔记本后自动降到能跑的最小尺寸,这种诚实少见。

常见的本地部署教程从复制命令开始。这个流程先问机器能不能跑。需要补的背景:Ollama是本地模型运行工具;UGI Leaderboard给模型排序;abliteration是移除拒绝行为的技术路线。普通用户至少要理解模型文件大小和显存的关系。AI从业者可以把这个prompt当安装流程看,但真正可复用的是硬件探测和降级策略。

边界也要说清。移除拒绝行为不等于没有风险,本地跑也不等于内容合法。用来绕过付费、DRM或访问控制,不在这个流程该解决的问题里。推文原帖在这里:链接。

真正值得抄的是顺序。无审查三个字只是标题。先测机器,再选模型,装完测速,不行降级。这个顺序能省掉很多下载和重装。

发布时间: 2026-11-19 19:30