mini-AGI开源：在8GB显存笔记本上实现不遗忘的持续学习
开源项目 mini-AGI 探索在仅 8GB 显存消费级显卡上训练持续学习模型的方案。项目弃用传统分词改用 256 字节词表，通过磁盘分页突破资源瓶颈，结合自适应深度与局部专家微调，在极低资源下将灾难性遗忘压降 99.84%。
作者：核流编辑 · 栏目：资源
动辄万卡集群、上百 G 显存的大模型军备竞赛时代，普通人想在自己 8GB 显存的游戏本上搞持续学习训练，真的只能洗洗睡吗？开源项目 mini-AGI 偏不信邪，直接在单张 8GB 显存笔记本显卡上跑通了一套不断学习还不失忆的硬核架构！ 开发者 volotat 在 GitHub 开源的该项目，为算力受限的研究者提供了一个极具启发性的工程范本。对于希望在消费级显卡上探索持续学习的平民开发者来说，面对主流大模型预训练后权重彻底冻结、增量训练极易遭遇灾难性遗忘的行业难题，mini-AGI 探索出了一条高度轻量化的模型自进化路径。 三招榨干显存，字节词表与 mmap 分页黑魔法 在消费级 8GB 显存显卡（例如移动端 RTX 3070 8GB）上从零训练，显存分配必须精打细算。传统大模型庞大的分词词表与词嵌入矩阵往往迅速占据可观显存。mini-AGI 在架构设计上采取了激进策略：彻底弃用传统分词器，改用纯粹的 256 字节词表，任何文本直接转化为底层原始字节流输入，规避了分词膨胀与未登录词问题。 模型骨架由 2 个密集前馈层与 1 个循环块构成，支持循环 24 次、路由 26 次，并在每一层动态路由调度 top-8 专家。为了突破物理显存上限，项目将原本在显存中占大头的 Adam 优化器权重，替换为基于内存分页（mmap）的按需加载机制。权重驻留于磁盘、随用随调，使得在 8GB 显存边界内处理复杂模型参数成为可能。 与此同时，项目引入了 PonderNet 自适应计算深度机制。模型对每个字符的计算深度可在 4 到 14 步之间自适应调节，动态前向平均仅需 9.9 步，反向平均仅需 8.0 步。这种机制有效兼顾了前向推理效率与硬件资源瓶颈。 99.84% 遗忘压降：微调 0.1% 参数跑通玩具级 AGI 可能也有老哥会冷笑：就这 8GB 显存，能练出什么正经 AGI？ 在学术界与工业界，持续学习领域的核心挑战始终在于如何抑制灾难性遗忘（Catastrophic Forgetting）。通常情况下，模型在接收新数据流后极易覆盖既有知识，而在单卡仅 8GB 显存的严苛条件下，参数调整空间更是捉襟见肘。 mini-AGI 的应对策略聚焦于参数隔离：模型固定关键基础网络（嵌入层与注意力机制），在持续学习阶段仅微调专家层中约 0.1% 的参数。实测数据显示，该策略使模型的困惑度损失从灾难性的 +2.2300 nats 骤降至仅 +0.0067 nats，遗忘程度相对降低了 99.84%。这一实测表现表明，局部参数微调策略能够在极低算力开销下有效封堵遗忘通道。 极客自建指南：三步跑通本地持续学习 面对开源社区的关注，作者在 README 中对项目的定位保持了客观克制： “NOTE: as of now this is a small toy-level model.” （目前仍属于玩具级轻量模型） 作者谦虚说这只是个玩具……但这套架构思路属实给穷哥们长脸了。 该项目本质上是一套轻量架构的概念验证（PoC），其目标并非直接对标商业前沿大模型，而是为探索低显存环境下的持续学习提供可复现的开源样本。对于希望在本地复现验证的开发者，只需一块 8GB 显存显卡与基础 Python 环境： 安装基础运行依赖：运行 pip install torch numpy pyyaml matplotlib； 指定目录启动增量训练并保存权重：运行 python3 train.py read <dir> --passes 3 --save； 启动本地服务进行交互测试：运行 python3 serve.py --port 8080。 在大模型算力日趋集中与高昂的背景下，mini-AGI 在单张 8GB 显存显卡上所展现的架构巧思与工程探索，为边缘计算与平民化持续学习研究提供了极具价值的开源探索样本。 参考资料 GitHub: Show HN: Mini-AGI — Dynamic continual learning model trained on 8GB VRAM