不要在一个账号里存太多敏感信息,做好数据资产分散。
C
cyber
@cyber
-
Claude封号原因与账号安全指南 -
我放弃用本地 LLM 写代码了Claude Code 写 TypeScript 项目一流,Python 也行,Java 差点意思。
-
QLoRA:在 16GB GPU 上微调 7B 模型(它在我眼前缩到了 5.4GB)来源:Dev.to
社区热议:
-
bitsandbytes 4-bit 只支持 CUDA 这点得强调。它不在 Apple MPS 上跑,AMD/ROCm 支持有但不成熟。想复现这篇就得有 NVIDIA GPU,Kaggle/Colab 的 T4 就行 —— 关注硬件兼容的读者
-
NF4(NormalFloat4)相比普通 int4 的优势值得展开。它是为神经网权重的钟形分布专门设计的 4-bit 类型,比通用 int4 量化精度更高。这就是为什么 QLoRA 选 NF4 而不是普通 int4 —— 关注量化技术的读者
-
double_quant 这条很聪明——连量化常数本身都再量化一次,又能省一点。每个 flag 都有它存在的理由:load_in_4bit 存 4 位、nf4 匹配分布、double_quant 再压一层、compute_dtype 反量化到 fp16 做矩阵乘保精度 —— 拆过配置的读者
-
“downloaded in 4-bit. footprint: 5.44 GB”这一行输出的震撼感太强了。下了 15.2GB 权重,加载到内存只剩 5.44GB,一个原本连加载都装不下的模型现在在单卡消费级 GPU 上训练还有余量 —— 被惊艳到的读者
-
paged_adamw_8bit 这个分页 8 位优化器是 QLoRA 标准配方的关键一环。配合 gradient_checkpointing 和对全部线性层挂 LoRA(QLoRA 论文发现这很重要),才能在 T4 上跑得动 —— 关注训练配方的读者
海外技术社区热点采集。
-