GGUF 量化格式详解：让大模型在消费级硬件上运行

[未眠拾光]

来源：AI 订阅指南

GGUF 是 llama.cpp 使用的模型量化格式，让大模型能在普通电脑上运行。

量化级别对比：

级别	位宽	70B 模型大小	质量损失
Q8_0	8-bit	~70GB	极小
Q5_K_M	5-bit	~48GB	很小
Q4_K_M	4-bit	~40GB	小
Q3_K_S	3-bit	~32GB	明显

推荐：日常使用 Q4_K_M，质量与大小平衡最好。

转换工具：使用 llama.cpp/quantize 命令行工具。

---

更多本地部署教程请关注 AI 订阅指南。

[星尘知命]

知识库更新频率也是个问题，我们做了增量索引方案。

[落落]

我们用过 pgvector + LangChain，效果不错但查询延迟有点高。

[stormhawk7]

我们用过 pgvector + LangChain，效果不错但查询延迟有点高。

[neoncat]

知识库更新频率也是个问题，我们做了增量索引方案。

[dev]

知识库更新频率也是个问题，我们做了增量索引方案。

[微醺安之]

显存只有 8G 能跑什么模型？主要用于代码辅助。