两小时、三块钱训64M模型?MiniMind把注释和代码都摊开了
Akshay Pachaar推荐的MiniMind,用原生PyTorch把预训练、SFT、LoRA、DPO、PPO/GRPO、蒸馏和Agentic RL串成一条线。64M参数、单卡3090、mini数据组合约2.31小时和3元成本,代码和数据都开源。它适合想看清训练链路的人,也暴露了小模型的能力边界。
Akshay Pachaar在X上推荐了MiniMind:一个64M参数的小语言模型,从预训练、SFT到LoRA、DPO、RL和蒸馏,全流程用原生PyTorch实现,单张消费级GPU能跑。项目在GitHub开源,作者是Jingyao Gong,Apache 2.0协议。
这类项目容易被标题带偏。推文写2小时,仓库注释补了限定:2小时指SFT阶段在单张3090上跑完1 epoch的实测耗时,3块钱指对应时段的GPU租用成本。训练开销表里,mini预训练加SFT合计约2.31小时、约3元。数字是真的,但适用范围要看清。
真正值得看的是代码组织。MiniMind主线结构对齐Qwen3/Qwen3-MoE生态,Tokenizer、数据格式、chat_template、训练脚本、推理服务、OpenAI API兼容都放在一个仓库里,也接入了llama.cpp、vllm、ollama等推理框架。核心算法不依赖trl、peft这类高层封装,LoRA、DPO、PPO、GRPO、CISPO和蒸馏都从0写。对想拆开大模型黑盒的人,这比“64M能聊什么”更有用。

仓库覆盖的链路很全:Pretrain、SFT、LoRA、RLHF-DPO、RLAIF里的PPO/GRPO/CISPO、Tool Use、Agentic RL、自适应思考和模型蒸馏。数据也开源,mini组合里预训练数据1.2GB、SFT数据1.6GB;完整主线预训练10GB、SFT 14GB。想快速复现Zero对话模型,下载mini数据就够。

快速跑通的路径不复杂:克隆仓库、装依赖,把pretrain_t2t_mini.jsonl和sft_t2t_mini.jsonl放进./dataset,依次跑预训练和SFT,再用eval_llm.py测试。
git clone --depth 1 https://github.com/jingyaogong/minimind
cd minimind && pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
# 下载 pretrain_t2t_mini.jsonl 与 sft_t2t_mini.jsonl 到 ./dataset
cd trainer && python train_pretrain.py
python train_full_sft.py
cd .. && python eval_llm.py --weight full_sft
能力边界也要说清楚。仓库保留了早期Zero模型的对话样例,基础对话能跑,事实知识和泛化明显有限,英文回答会崩。客观评测里,这类小模型在C-Eval、CMMLU等选择题上长期在随机线附近;作者用LoRA做了一次选择题格式对齐,minimind-3-exam平均提升约2.9个百分点,说明部分瓶颈在输入格式,不在知识本身。

RL部分同样有代价。仓库里的轻Agent数学ToolUse测试,agent权重20题对17题,full_sft对12题;但作者也提醒,agent权重在开放问答上更容易出现事实性幻觉。后训练把某条能力线拉高,通常会在通用性、事实性上收税。这个现象不新鲜,MiniMind把它摊开给你看。
项目链接:https://github.com/jingyaogong/minimind
在线体验:https://www.modelscope.cn/studios/gongjy/MiniMind
视频介绍:https://www.bilibili.com/video/BV12dHPeqE72
2小时和三块钱只能当作入口。工程事实在注释、数据表和训练脚本里。翻完仓库再回头看推文标题,会知道哪些是传播语言,哪些是能复现的代码。
发布时间: 2026-11-18 02:29