Firecrawl Local 不是你想的 Local:单二进制抓取,但默认会回退云端
Firecrawl 发布 Local 版,单个 Rust 二进制替代 Docker 全家桶。但默认情况下,本地抓取失败会悄悄回退到云端。私有页面,先关掉 FIRECRAWL_CLOUD=off。
Firecrawl 发布了 Firecrawl Local:一个编译好的 Rust 二进制,跑在你自己机器上,不需要 Docker、Redis、PostgreSQL,也不需要无头浏览器池。仓库 206,070 stars,10,774 forks,AGPL-3.0 协议。
背景是大家早就受够了。把一个带 JavaScript 的网页丢给 Claude Code,通常两种结局:目标站甩你一个 403,或者 agent 拖回 50,000 token 的导航栏、追踪脚本和 DOM 噪音,三个回合毁掉整个上下文。想自托管一个正经爬虫,得先拉 Docker Compose 镜像、跑 Redis 队列、维护 PostgreSQL 容器、再养一个无头浏览器池,然后才开始抓第一页。
Firecrawl Local 是仓库里的 apps/local。cargo install firecrawl-local 直接装。它复用你机器上已有的 Chrome 或 Chromium 渲染 JS 页面,PDF 和 Office 文档在本地转成 Markdown。还自带一个免 key 的本地 v2 API 服务,监听 localhost:3002。现有 Python、Node、Go、Rust 等 9 个官方 SDK,把 api_url 指到本地就能跑,开发阶段不烧云额度。
接 coding agent 是一行命令的事。firecrawl-local init 自动检测 Claude Code、Claude Desktop、Cursor、Windsurf、Gemini CLI、Codex,先备份已有配置,再把自己注册成 MCP server。想连更多工具,npx -y firecrawl-cli@latest init --all --browser。
这里有个容易看漏的开关。
Firecrawl Local 抓取失败时,默认会回退到 Firecrawl Cloud。有账号就记你账单,没账号也按 IP 限速跑一次。也就是说,名字叫 Local,默认却不是全本地。私有文档、内部 staging 站点,先 export FIRECRAWL_CLOUD=off 再跑。响应的 source 字段会标 firecrawl-cloud,留意这个字段。
两件值得单独拎出来的事。
一是功能边界。本地负责 Markdown/HTML 抓取、全站 crawl、map、batch scrape、PDF/Office 解析。结构化 JSON 提取、浏览器截图、Interact 自然语言操作页面、Agent 自主研究,跑在云端。Agent 模式下能查 Alexandria 的 550+ 数据源,里面有 250M+ 人物画像、75M+ 公司、41M+ 学术论文,覆盖约 96% 的在线网页,P95 延迟 3.4 秒。JS 渲染复用本机 Chrome 或 Chromium,没装浏览器时静态页面照常抓,JS 页面返回警告。
二是成本。日常文档抓取、全站 crawl、PDF 解析都走本地,API 成本为零,HTML token 膨胀砍掉 80% 以上。云端额度留给 Interact 浏览器操作和 Agent 查询。零注册 Keyless CLI 每月送 1,000 credits,npx -y firecrawl-cli@latest scrape https://firecrawl.dev 就能跑,不需要账号,不需要信用卡。
第三方实测可以看 TestedMCP 的数据。2026 年 11 月 9 日,他们用 firecrawl-mcp 3.38.0 测了一轮:26 个工具,工具定义约 11,825 tokens(cl100k 估算),接近 8k 上下文的 144%,对本地小模型不友好。无 key 状态下 scrape 和 search 可用,map 会报 API key is required。总分 90/100,扣分是因为 3 个 keyless 调用里 map 失败。安装、握手、维护、文档、许可证五项全过。
有网友分享过完整自托管的体验:API、workers、playwright、PostgreSQL、RabbitMQ 全套跑在一个 VPS 上,内存占用约 2GB。一个没有数据库没有队列的二进制,对小机器是更轻的选择。
完整的六步工作流在仓库文档里。日常用得最多的命令是这几条:
# 装本地引擎
cargo install firecrawl-local
# 自动接入 6 种 coding agent
firecrawl-local init
# 抓单页,输出干净 Markdown
firecrawl-local scrape https://firecrawl.dev --markdown
# 秒级发现一个域名下所有 URL,按关键词相关性排序
firecrawl-local map https://firecrawl.dev
# 全站 crawl,每页存一个 Markdown 文件
firecrawl-local crawl https://docs.firecrawl.dev --limit 50 --out ./pages
# 起一个免 key 的 v2 API server
firecrawl-local serve
把 Firecrawl 接进 Claude Code 或 Cursor 之后,仓库建议先把这段初始化 prompt 粘给 agent,避免网页噪音灌爆上下文:
When fetching external documentation, web pages, or PDF specs in this session, use the firecrawl MCP tools and follow these rules:
1. Never dump raw HTML into context: run scrape with clean Markdown output (using --only-main-content when available) to strip navigation and footer noise.
2. Before crawling a multi-page documentation site, run map first to list and filter relevant URLs, then crawl with a strict page cap (e.g., --limit 30) into a local folder.
3. When collecting structured competitor or market data, enforce a strict Pydantic or Zod schema and require every extracted row to include its verified source URL.
Firecrawl Local 这步棋有意思,它把本地从门槛变成了默认选项。但功能列表是次要的,默认值才是重点:回退开关默认开着,账单和数据流向跟着默认走。记好 FIRECRAWL_CLOUD=off,留意 source 字段。
发布时间: 2026-11-22 13:34