做7年技术支持,他业余写的本地AI引擎冲到1.5k星
Ash Hart 在技术支持岗待了7年,转做产品,又回技术。私下写 TensorFold,归档三次,发布时只敢想5到10个用户。几天后 GitHub 星数过1.5k,社区还把它重写成 Zig,并让 Mac 和 NVIDIA 机器共享内存。
Ash Hart 的履历不太像常见的 AI 创业者模板。Pratik Gandhi 在推文里列了一条线:在英国长大,做了7年技术支持,加入朋友的外卖科技公司做2年 PM,然后回到第一家公司做技术负责人,到今天。15年以上软件、DevOps、AWS、网络和安全经验。最后成了第四线支持,别的办法都不灵时找他。
这段背景放在本地 AI 里,正好对口。TensorFold 是一个本地推理引擎,让模型跑在自己的机器上,不把每次请求发给云端。它支持 Metal 和 CUDA,分别对应苹果和 NVIDIA 的硬件栈。开发者能直接碰到驱动、内存、网络和系统版本这些层,普通用户也不用把每句话都交出去。
他先花了6个月,私下写这个引擎。归档三次。然后还是发布 TensorFold,预期只有5到10个用户。结果头几天就爆了:GitHub 1.5k+ stars,一些头部本地 AI 开发者开始贡献,社区一起把它重写成 Zig。接着是 MCDMA,让 Mac 和 NVIDIA 机器共享内存;两台 Mac Studio 通过 Thunderbolt 5 连起来;还发布了一个在使用过程中持续学习的模型。后来有 DGX Spark 被捐给他,继续做 TensorFold。4周内,他的关注者从300涨到9k+。他还呼吁英国构建自己的开放模型。
Pratik Gandhi 说,自己很荣幸合作,把 TensorFold 纳入 YukonResearch 的挑战。挑战由 Darkbloom、Yukon、EigenLabs 一起做。Ash 在推文里写 CUDA 正冲向 200%。性能图给的是加权基准增益:CUDA 在 DGX Spark 上 +146.6%,MLX 在 Apple M5 Max 的 Metal 上 +53.9%。图底部标了 31 OCT 2026 10:46 UTC 的参考基准。
回复里有人准备更新 CUDA 驱动重跑 benchmark,有人说补丁提交晚了一步,有人贴出自己离排行榜很近的截图。Ash 回了一句,社区做饭太快。有网友调侃,从支持工单到 TensorFold,剧情转折不错。也有人说 TensorFold 帮了自己很多。还有人直接说,这故事激励了自己去构建和贡献。
本地 AI 的门槛经常不在模型权重,而在驱动、内存、网络和系统版本。一个做了7年技术支持的人,正好知道这些地方会怎么坏。AI 行业喜欢讲实验室里的灵光一现。Ash 的路径更像另一种版本:先把无聊的故障排查做够,再等到一个可以动手的方向。Pratik Gandhi 在推文末尾写,故事还远没结束。TensorFold 的提交记录还在动,这句话不空。
发布时间: 2026-11-01 15:42