热闻岛
返回全网热点

​谷歌发布LiteRT.js:浏览器跑AI推理最高快 3 倍,WebAssembly硬核加速

2小时前3 阅读
​谷歌发布LiteRT.js:浏览器跑AI推理最高快 3 倍,WebAssembly硬核加速配图
谷歌正式发布全新Web端AI推理加速库LiteRT.js。该库采用WebAssembly技术,并深度结合WebGPU与WebNN等硬件加速能力,旨在替代TensorFlow.js所使用的传统JavaScript内核方案,大幅提升浏览器中人工智能与机器学习工作负载的运行速度。 WebAssembly是一种二进制指令格式,能让网页在浏览器中以接近本地代码的速度执

谷歌正式发布全新Web端AI推理加速库LiteRT.js。该库采用WebAssembly技术,并深度结合WebGPU与WebNN等硬件加速能力,旨在替代TensorFlow.js所使用的传统JavaScript内核方案,大幅提升浏览器中人工智能与机器学习工作负载的运行速度。

WebAssembly是一种二进制指令格式,能让网页在浏览器中以接近本地代码的速度执行高性能计算。TensorFlow.js则是谷歌此前开发的经典库,支持开发者将基于TensorFlow构建的模型直接部署到Web浏览器中,实现客户端AI功能。此次推出的LiteRT.js正是在这一基础上进行的架构升级。

实测提速 3 倍,老旧设备也有用武之地

谷歌在搭载M4 芯片的 2024 款苹果MacBook Pro笔记本上进行了实测,结果显示,相比现有方案,LiteRT.js的推理速度 最高 提升 3 倍。不过谷歌也坦诚表示,在运行旧硬件或使用不同引擎的浏览器时,实际性能表现可能存在一定差异。

从技术路线来看,谷歌正推动Web端AI推理从纯JavaScript时代迈向WebAssembly加硬件加速的新阶段。当浏览器跑AI模型的速度逐步逼近原生应用水平,无需安装客户端、打开网页即可使用AI功能的体验将更加流畅,这对端侧AI的普及无疑是一针强心剂。

要点速读

谷歌正式发布全新Web端AI推理加速库LiteRT.js。该库采用WebAssembly技术,并深度结合WebGPU与W

  • 谷歌正式发布全新Web端AI推理加速库LiteRT.js
  • 该库采用WebAssembly技术,并深度结合WebGPU与W
  • 更多细节仍在持续更新中