llama.cpp正式支持WebGPU，浏览器端推理显存骤降超30%
· ME 快讯
ME AI 消息，据 动察 Beating 监测，llama.cpp 与 ggml 官方 WebGPU 后端正式发布，支持在浏览器中直接通过本地 GPU 加速运行 GGUF 格式大模型。新后端摆脱了对特定原生客户端或复杂 WebAssembly 架构的依赖，实现纯端侧、数据不出设备的隐私推理，为网页生态打通了零配置的本地算力入口。 5 月 20 日发表的相关论文指出，WebGPU 后端引入静态内存规划与高效模型加载机制，网页端运行时的显存开销相较现有框架降低 29% 至 33%。在英特尔、苹果和英伟达等主流 GPU 设备上，解码吞吐量平均提升 45% 至 69%。 网页端演示基于开源库 wllama 运行，近期完成的底层优化实现了比论文更优的显存控制。llama.cpp 还可以通过 Google 的 C++ WebGPU 实现 Dawn 进行本地原生编译，为 Vulkan 与 WebGPU 之间的底层性能对比提供了评测基准。 （来源：BlockBeats）