Theo Reuters, để chế tạo thành công siêu máy tính AI, Google đã sử dụng hơn 4.000 chip Tensor v4 thông qua công tắc quang học tự phát triển, chìa khóa giúp các công ty chế tạo bộ xử lý cho siêu máy tính AI.

Thiết bị mới lần này của Google được trang bị chip Tensor Processing Unit (TPU), thế hệ thứ tư do công ty tự thiết kế. Ra mắt từ năm 2021, Tensor v4 hiện góp mặt trong hơn 90% công việc đào tạo AI của Google.

Để lưu trữ chip, một số mô hình ngôn ngữ lớn như Bard hay ChatGPT chia dung lượng vào hàng nghìn chip hoạt động cùng nhau trong hàng tuần để huấn luyện mô hình. Vì chúng có dung lượng quá lớn không thể lưu trữ trên một chip.

Để huấn luyện PaLM - mô hình ngôn ngữ được đánh giá tốt nhất hiện nay, Google đã dùng siêu máy tính AI trong suốt cả quá trình.

Theo Google, hệ thống có thể dễ dàng cấu hình lại kết nối giữa các chip một cách nhanh chóng, giúp giảm sự cố và điều chỉnh tăng hiệu suất của mô hình máy học.

Từ năm 2020, tại một số trung tâm dữ liệu của Google ở Hạt Mayes, Oklahoma. Startup Midjourney đã dùng siêu máy tính để huấn luyện AI tạo hình ảnh từ văn bản. Mặc dù thông tin về siêu máy tính AI đến hiện tại mới được công bố.

Công ty Google tiết lộ, so với hệ thống tương đương sử dụng chip xử lý A100 của Nvidia, siêu máy tính của hãng nhanh hơn 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần. A100 và Tensor v4.

Hiện tại, công ty công nghệ này cũng đang tập trung phát triển chip Tensor thế hệ mới, cạnh trạnh với H100.