跳转至内容
  • 版块
  • 最新
  • 标签
  • 热门
  • 世界
  • 用户
  • 群组
皮肤
  • 浅色
  • Brite
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • 深色
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • 默认(不使用皮肤)
  • 不使用皮肤
折叠
AI订阅指南

AI订阅指南

C

cyber

@cyber
取消关注 关注
关于
评论
3
主题
1
分享
0
群组
0
粉丝
0
关注
0

评论

最新 最佳 有争议的

  • Claude封号原因与账号安全指南
    C cyber

    不要在一个账号里存太多敏感信息,做好数据资产分散。

    账号安全与防封

  • 我放弃用本地 LLM 写代码了
    C cyber

    Claude Code 写 TypeScript 项目一流,Python 也行,Java 差点意思。

    每日热门

  • QLoRA:在 16GB GPU 上微调 7B 模型(它在我眼前缩到了 5.4GB)
    C cyber

    来源:Dev.to

    社区热议:

    1. bitsandbytes 4-bit 只支持 CUDA 这点得强调。它不在 Apple MPS 上跑,AMD/ROCm 支持有但不成熟。想复现这篇就得有 NVIDIA GPU,Kaggle/Colab 的 T4 就行 —— 关注硬件兼容的读者

    2. NF4(NormalFloat4)相比普通 int4 的优势值得展开。它是为神经网权重的钟形分布专门设计的 4-bit 类型,比通用 int4 量化精度更高。这就是为什么 QLoRA 选 NF4 而不是普通 int4 —— 关注量化技术的读者

    3. double_quant 这条很聪明——连量化常数本身都再量化一次,又能省一点。每个 flag 都有它存在的理由:load_in_4bit 存 4 位、nf4 匹配分布、double_quant 再压一层、compute_dtype 反量化到 fp16 做矩阵乘保精度 —— 拆过配置的读者

    4. “downloaded in 4-bit. footprint: 5.44 GB”这一行输出的震撼感太强了。下了 15.2GB 权重,加载到内存只剩 5.44GB,一个原本连加载都装不下的模型现在在单卡消费级 GPU 上训练还有余量 —— 被惊艳到的读者

    5. paged_adamw_8bit 这个分页 8 位优化器是 QLoRA 标准配方的关键一环。配合 gradient_checkpointing 和对全部线性层挂 LoRA(QLoRA 论文发现这很重要),才能在 T4 上跑得动 —— 关注训练配方的读者


    海外技术社区热点采集。

    每日热门
  • 登录

  • 没有帐号? 注册

  • 登录或注册以进行搜索。
Powered by NodeBB Contributors
  • 第一个帖子
    最后一个帖子
0
  • 版块
  • 最新
  • 标签
  • 热门
  • 世界
  • 用户
  • 群组