AI phát triển tính năng mới giúp tăng tốc trình duyệt

Giao diện tính năng ONNX Runtime

ONNX Runtime Web là gì?

ONNX Runtime Web là thư viện JavaScript cho phép các nhà phát triển web nhúng LLM ngay vào trình duyệt web và hưởng lợi từ khả năng tăng tốc phần cứng GPU. Sự đổi mới của ONNX Runtime Web là hỗ trợ chương trình phụ trợ WebGPU mà Microsoft và Intel đang phát triển hiện nay. 

Runtime Web chạy ONNX nhanh như thế nào?

Nhóm ONNX Runtime đã tạo ra một  bản demo để chứng minh và thu được kết quả đáng mong đợi. Họ đã kết hợp WASM EP và WebGPU EP, đồng thời sử dụng PC NVIDIA GeForce RTX 3060 và Intel Core i9. Sau đó, họ so sánh bộ mã hóa sử dụng CPU và WebGPU mới và WebGPU mới được chứng minh là nhanh hơn rất nhiều.

WebGPU đã được nhúng vào Chrome 113 và Edge 113 cho Windows, macOS và ChromeOS cũng như Chrome 121 cho Android. Người dùng sử dụng những trình duyệt này có thể trải nghiệm ngay tốc độ đáng kinh ngạc!

Bạn nghĩ gì về ONNX Runtime Web mới? Chia sẻ với chúng tôi trong phần bình luận bên dưới và đừng quên theo dõi Sửa chữa laptop 24h để cập nhật tin tức mới nhất về công nghệ nhé!