AI订阅指南

来源：r/LocalLLaMA

社区热议：

1. 终于有人在认真探索 ANE 了！Apple 一直在宣传 Neural Engine 但很少被开源推理真正利用。 —— apple_silicon_fan

2. 私有 API 依赖是最大的限制，Apple 随时可能封掉，希望未来能有官方支持。 —— api_concerns

3. 如果能成熟的话，ANE 可以成为 CPU 和 Metal 之外的第三条推理路径。 —— third_path

4. 作者 arozanov 把 MUL_MAT 运算通过私有 API dispatch 到 ANE，M4 Pro 上峰值 4.0 TFLOPS（N=256），比 CPU 快 16.8 倍。 —— technical_reader

5. 目前 prototype 是 N>=64 的 prefill 走 ANE，decode 还是 fallback 到 Metal 或 CPU，分阶段策略很合理。 —— strategy_analyst

海外技术社区热点采集。