🔥 Soup — 一行 YAML 微调 8B 大模型📦 AI工具 ｜ Python ｜ 开源项目

1. 3小时前

   

   ×

   

   🔥 Soup — 一行 YAML 微调 8B 大模型
   📦 AI工具 ｜ Python ｜ 开源项目
   
   

   
   ➤ 通过 Layer Streaming 逐层加载模型，降低显存占用
   ➤ RTX 3050 Laptop 4GB 实测运行 Llama-3.1-8B-Instruct + NF4
   ➤ 实测峰值显存占用 3.32 GB，报告速度达 119.6 tok/s
   ➤ 支持本地 QLoRA 微调，无需依赖云端 GPU
   ➤ 通过 YAML 配置训练参数，一条命令启动训练
   ➤ 自动检测 GPU、量化及 batch size 等设置
   ➤ 严格校验配置字段，避免拼写错误被静默忽略
   ➤ 修复 MLX 后端参数静默失效问题
   ➤ 记录并展示 validation loss 验证损失
   ➤ 提供 Colab T4 测试环境，验证流式与常驻模式结果
   

   Toggle hidden content

   
   
   📌 简单说：面向大语言模型微调的 Python CLI 工具，通过逐层流式加载降低显存需求，让低显存设备也有机会进行 8B 模型微调。Layer Streaming 功能目前为 BETA，实际性能取决于硬件、模型和训练配置。
   
   📢 项目地址：
   GitHub 开源项目
   
   📂 #AI工具 #LLM微调 #LoRA #QLoRA #Python #大模型 #开源项目