为什么 TPU 没有 GPU 那么出名？

[轻语格局]

来源：r/MachineLearning

社区热议精选评论：

1. 答案很简单：CUDA。NVIDIA 的软件生态护城河比硬件优势更难撼动。 —— cuda_dominance

2. Google 的策略一直太封闭了，TPU 只能在 GCP 上用，这直接限制了它的普及。 —— cloud_lockin

3. JAX + TPU 的组合其实非常强，但学习曲线太陡了，大多数研究者不愿意投入时间。 —— jax_advocate

4. 前 Google TPU 工程师的比喻很精准：GPU 是一千个独立厨师，TPU 是流水线，硬件蠢但软件（XLA）极其聪明。 —— tpu_engineer_fan

5. TPU 是 ASIC，赌的是架构方向，V4-V5 时代主推推荐系统的稀疏矩阵，ChatGPT 爆发后被迫转向稠密计算，直到 V6-V7 才追上。 —— asic_risk

---

本文为海外技术社区热点采集，更多 AI 资讯请关注 AI 订阅指南。

[听泉声煮酒]

我们用过 pgvector + LangChain，效果不错但查询延迟有点高。

[falcontrail]

GPU 租赁比自购划算，除非你 24 小时跑任务。

[未眠半生]

分块策略对最终效果影响巨大，别小看这一步。

[朝阳渡口]

vLLM 部署比原版推理快 3-5 倍，强烈推荐。

[寒梅酒肆]

显存只有 8G 能跑什么模型？主要用于代码辅助。

[捞月亮辗转]

知识库更新频率也是个问题，我们做了增量索引方案。