QLoRA：在 16GB GPU 上微调 7B 模型（它在我眼前缩到了 5.4GB）
-
来源：Dev.to
社区热议：
-
bitsandbytes 4-bit 只支持 CUDA 这点得强调。它不在 Apple MPS 上跑，AMD/ROCm 支持有但不成熟。想复现这篇就得有 NVIDIA GPU，Kaggle/Colab 的 T4 就行 —— 关注硬件兼容的读者
-
NF4（NormalFloat4）相比普通 int4 的优势值得展开。它是为神经网权重的钟形分布专门设计的 4-bit 类型，比通用 int4 量化精度更高。这就是为什么 QLoRA 选 NF4 而不是普通 int4 —— 关注量化技术的读者
-
double_quant 这条很聪明——连量化常数本身都再量化一次，又能省一点。每个 flag 都有它存在的理由：load_in_4bit 存 4 位、nf4 匹配分布、double_quant 再压一层、compute_dtype 反量化到 fp16 做矩阵乘保精度 —— 拆过配置的读者
-
“downloaded in 4-bit. footprint: 5.44 GB”这一行输出的震撼感太强了。下了 15.2GB 权重，加载到内存只剩 5.44GB，一个原本连加载都装不下的模型现在在单卡消费级 GPU 上训练还有余量 —— 被惊艳到的读者
-
paged_adamw_8bit 这个分页 8 位优化器是 QLoRA 标准配方的关键一环。配合 gradient_checkpointing 和对全部线性层挂 LoRA（QLoRA 论文发现这很重要），才能在 T4 上跑得动 —— 关注训练配方的读者
海外技术社区热点采集。
-
-
微调一个 7B 模型大概多少钱？有没有便宜的方案？