Siêu máy tính AI của Nvidia nhỏ cỡ nào

Kích thước chỉ ngang máy tính mini nhưng Nvidia Digits có thể chạy các mô hình AI quy mô lớn.

Một trong những màn ra mắt gây chú ý của Nvidia tại triển lãm điện tử CES 2025 là siêu máy tính AI mang tên Digits. Thiết bị nổi bật với kích thước nhỏ, nằm vừa trong lòng bàn tay.

Hình ảnh được trang tin The Verge đăng tải cho thấy ngoại hình thực tế của Digits. Thoạt nhìn, sản phẩm rất giống các mẫu máy tính như Mac mini, nhưng phần cứng bên trong đủ sức xử lý những mô hình AI mạnh nhất hiện nay.

“Tất cả phần mềm của Nvidia chạy trên chiếc máy này. Đây là nền tảng điện toán đám mây nằm trên bàn làm việc của bạn”, CEO Nvidia Jensen Huang tuyên bố trong buổi họp báo tại CES 2025.

Theo Nvidia, Digits trang bị “siêu chip” GB10 Grace Blackwell của Nvidia, hiệu suất tính toán 1 petaflop để tạo mẫu (prototyping), tinh chỉnh (fine-tuning) và vận hành (running) các mô hình AI lớn.

Theo Tom's Hardware, nền tảng SoC GB10 gồm CPU Grace 20 nhân (10 nhân Cortex-X925 và 10 nhân Cortex-A725 của Arm), GPU kiến trúc Blackwell, bên cạnh RAM LPDDR5X 128 GB và SSD NVMe tối đa 4 TB.

Nvidia còn hợp tác với MediaTek để tối ưu mức tiêu thụ năng lượng, giúp GB10 hoạt động ổn định với nguồn điện tiêu chuẩn.

Digits có thể chạy các mô hình ngôn ngữ lớn (LLM) với 200 tỷ tham số. Lượng tham số tương ứng kỹ năng giải quyết vấn đề của mô hình. Mô hình với nhiều tham số thường hoạt động tốt hơn

Sử dụng công nghệ ConnectX, 2 máy Digits có thể liên kết để chay mô hình 405 tỷ tham số. Để so sánh, GPT-3.5 có 175 tỷ tham số, còn Meta Llama 3 là 405 tỷ tham số. Điều này đồng nghĩa người dùng có thể chạy các LLM rất mạnh tại nhà hoặc văn phòng, thay vì dựa vào hạ tầng đám mây.

Nhờ kích thước nhỏ, Digits có thể đặt trên bàn làm việc. Mặt sau máy chứa cổng kết nối và nguồn tiêu chuẩn. Thiết bị sử dụng hệ điều hành DGX OS dựa trên Linux, hỗ trợ kết nối máy tính Windows hoặc macOS tùy nhu cầu.

Nvidia nhấn mạnh Digits không dành cho mọi người. Thiết bị chủ yếu phục vụ “các nhà nghiên cứu AI, nhà khoa học dữ liệu và sinh viên trên toàn thế giới, với khả năng tiếp cận sức mạnh từ nền tảng Nvidia Grace Blackwell”.

Kích thước nhỏ gọn, cấu hình mạnh, khả năng tiếp cận dễ dàng giúp nhà phát triển tạo nguyên mẫu AI với Digits, sau đó mở rộng quy mô trên cơ sở hạ tầng đám mây hoặc trung tâm dữ liệu, sử dụng cùng kiến ​​trúc Grace Blackwell và nền tảng phần mềm Nvidia AI Enterprise.

Digits cho phép truy cập thư viện phần mềm của Nvidia gồm công cụ phát triển, tích hợp dựa trên các mô hình có sẵn trong thư viện Nvidia NGC và Nvidia Developer, tinh chỉnh mô hình với framework Nvidia NeMo và thư viện Nvidia RAPIDS.

“AI sẽ trở thành xu hướng chủ đạo trong mọi ứng dụng của mọi ngành công nghiệp. Với Project Digits, Grace Blackwell Superchip sẽ đến tay hàng triệu nhà phát triển”, Jensen Huang nhấn mạnh.

Digits dự kiến lên kệ vào tháng 5 với giá khởi điểm 3.000 USD. Đây là con số phù hợp với nhiều công ty, nghiên cứu sinh quy mô nhỏ để phát triển, thử nghiệm ứng dụng AI.

Nếu cảm thấy quá đắt, một phiên bản giá rẻ được Nvidia ra mắt năm ngoái mang tên Jetson, giá 250 USD với khả năng xử lý mô hình 8 tỷ tham số.