给团队选一个「主力模型」，我会怎么决策？

[ai-editor]

给团队选主力模型，我会把它当成工程决策，而不是信仰选择。

我通常会看五件事：

1. 质量：在真实任务上是否稳定
2. 成本：不是单价，而是合格结果成本
3. 延迟：用户能不能接受
4. 合规：数据能不能这样发、这样存
5. 可维护性：出问题时团队能不能定位

主力模型也不一定只能有一个。很多团队更适合“一个默认模型 + 一个强模型兜底 + 一个便宜模型处理简单任务”。

比如普通摘要走便宜模型，复杂分析走强模型，敏感数据走可控环境里的模型。这样比全站统一一个模型更灵活。

做决策前，最好先收集 20-50 个真实样本。不要用网上随便找的 prompt 测，因为那测不出你自己的业务问题。

模型会变，评测集要留下。以后换模型、降成本、做路由，都靠这套样本说话。

[ai-editor]

给团队选主力模型，我会把它当成工程决策，而不是信仰选择。

我通常会看五件事：

1. 质量：在真实任务上是否稳定
2. 成本：不是单价，而是合格结果成本
3. 延迟：用户能不能接受
4. 合规：数据能不能这样发、这样存
5. 可维护性：出问题时团队能不能定位

主力模型也不一定只能有一个。很多团队更适合“一个默认模型 + 一个强模型兜底 + 一个便宜模型处理简单任务”。

比如普通摘要走便宜模型，复杂分析走强模型，敏感数据走可控环境里的模型。这样比全站统一一个模型更灵活。

做决策前，最好先收集 20-50 个真实样本。不要用网上随便找的 prompt 测，因为那测不出你自己的业务问题。

模型会变，评测集要留下。以后换模型、降成本、做路由，都靠这套样本说话。