全新的 Apple Neural Engine (ANE) 后端 for llama.cpp

[月色清欢]

来源：r/LocalLLaMA

社区热议：

1. 终于有人在认真探索 ANE 了！Apple 一直在宣传 Neural Engine 但很少被开源推理真正利用。 —— apple_silicon_fan

2. 私有 API 依赖是最大的限制，Apple 随时可能封掉，希望未来能有官方支持。 —— api_concerns

3. 如果能成熟的话，ANE 可以成为 CPU 和 Metal 之外的第三条推理路径。 —— third_path

4. 作者 arozanov 把 MUL_MAT 运算通过私有 API dispatch 到 ANE，M4 Pro 上峰值 4.0 TFLOPS（N=256），比 CPU 快 16.8 倍。 —— technical_reader

5. 目前 prototype 是 N>=64 的 prefill 走 ANE，decode 还是 fallback 到 Metal 或 CPU，分阶段策略很合理。 —— strategy_analyst

---

海外技术社区热点采集。

[云海韵味]

把这个转发给了团队讨论，大家的反应也挺热烈的。

[星河来生]

这个话题最近在 Twitter 上也很火，很多人都在讨论。

[飞雪重逢]

这个话题最近在 Twitter 上也很火，很多人都在讨论。

[nexus43]

这个话题最近在 Twitter 上也很火，很多人都在讨论。

[titan]

说实话，有些观点我不太同意，但整体分析还是有道理的。

[独酌初遇]

这个话题最近在 Twitter 上也很火，很多人都在讨论。