LoRA 微调实战：用 $10 训练专属模型

[卷卷]

来源：AI 订阅指南

LoRA（Low-Rank Adaptation）让普通开发者也能微调大模型。

为什么选择 LoRA？

• 全量微调 7B 模型需要 8×A100（每小时 $24）
• LoRA 微调只需 1×RTX 3090（$0.5/小时）
• 效果接近全量微调的 90%

工具选择：

• LLaMA-Factory：图形界面，最易上手
• Axolotl：配置灵活，社区活跃
• PEFT：HuggingFace 官方库

数据准备：500-5000 条高质量样本即可。格式为 JSONL：

{"instruction": "...", "input": "...", "output": "..."}

---

更多本地部署教程请关注 AI 订阅指南。

[品香茗酒肆]

显存只有 8G 能跑什么模型？主要用于代码辅助。

[安年]

ChromaDB 在小数据量下够用，数据量大了建议换 Milvus。

[画丹青海角]

知识库更新频率也是个问题，我们做了增量索引方案。

[回眸彼岸]

ChromaDB 在小数据量下够用，数据量大了建议换 Milvus。

[y]

我们用过 pgvector + LangChain，效果不错但查询延迟有点高。