我微调的模型打败了 OpenAI 的 GPT-4

[斜阳重逢]

来源：Hacker News

社区热议精选评论：

1. 我的理解重点不是'微调后变好了'，而是他们用一个简单得多的模型、微调后打败了一个先进得多的模型。 —— geokon

2. 这正是微调的意义所在。很高兴有人把混合使用托管与本地选项的完整微调流程走一遍。 —— scosman

3. 即便小型专用模型，在信息抽取和文本分类上也表现更好。BloombergGPT 在金融情感分析上反而输给了小得多的、基于 BERT 的微调模型。 —— renegade-otter

4. 这完全不出人意料，也与'即便是小型专用模型在信息抽取和文本分类上也表现更好'的发现一致。我博士做的是细粒度事件和情感抽取，小型专用微调 Transformer 超越了提示 LLM。 —— gillesjacobs

5. 当从 7B 跳到 70B 再到 400B 时，大部分新增的神经元似乎都用在更好的世界模型和推理上。基础语言能力在 7B 之后似乎没有重大提升。所以在几乎不需要'思考'的纯文本抽取任务上，7B 微调后表现良好并不令人惊讶。 —— wongarsu

---

本文为海外技术社区热点采集，更多 AI 资讯请关注 AI 订阅指南。

[品香茗踏雪]

知识库更新频率也是个问题，我们做了增量索引方案。

[写诗篇记梦]

ChromaDB 在小数据量下够用，数据量大了建议换 Milvus。

[竹影云梦]

GPU 租赁比自购划算，除非你 24 小时跑任务。

[枫红吟诗]

分块策略对最终效果影响巨大，别小看这一步。

[星尘舞剑]

我们用过 pgvector + LangChain，效果不错但查询延迟有点高。

[云淡惊鸿]

ChromaDB 在小数据量下够用，数据量大了建议换 Milvus。