Chip AI chuyên dụng Groq liệu có phải ‘ngựa ô’ của ngành bán dẫn

Trong thử nghiệm mới nhất, chip AI chuyên dụng LPU do Groq phát triển mang lại cho chatbot hiệu suất đáng kinh ngạc, vượt trội so với các loại chip công nghiệp tiêu chuẩn hàng đầu.

Chip trí tuệ nhân tạo (AI) chuyên dụng LPU do Groq phát triển đang trở thành hiện tượng gây bão trên mạng xã hội chỉ sau một đêm, khi các bài kiểm tra điểm chuẩn công khai của nó lan truyền trên nền tảng truyền thông xã hội X.

Groq tuyên bố cung cấp ‘các mô hình xử lý ngôn ngữ tự nhiên nhanh nhất thế giới’ và kết quả thử nghiệm độc lập chuyên sâu cho thấy tuyên bố đó có thể là chính xác.

Groq sản xuất chip AI chuyên dụng được gọi là LPU (Language Processing Unit), được cho là nhanh hơn GPU của Nvidia. GPU của Nvidia thường được coi là chip công nghiệp tiêu chuẩn để chạy các mô hình AI, nhưng kết quả ban đầu cho thấy LPU sẽ vượt xa chúng, ít nhất là trong các tác vụ yêu cầu tốc độ lớn.

Về bản chất, chip LPU của Groq là một ‘công cụ điện toán’, cho phép các chatbot như ChatGPT, Gemini hoạt động với tốc độ tiếp nhận và phản hồi cực nhanh. Trong các thử nghiệm đã được tiến hành, chatbot sử dụng chip LPU đã vượt trội so với 8 chatbot sử dụng các chip AI khác trên một số chỉ số hiệu suất chính, bao gồm độ trễ so với thông lượng và tổng thời gian phản hồi. Hiệu suất vượt trội của LPU thể hiện rõ rệt nhất khi thử nghiệm với mô hình Llama 2-70b của Meta.

Theo các thử nghiệm độc lập của Artificial Analysis, chatbot sử dụng chip LPU có thể được thông lượng 247 mã thông báo (token)/giây. Để so sánh, ChatGPT của OpenAI hiện cũng mới chỉ đạt thông lượng tối đa 18 token/giây. Điều này có nghĩa là ChatGPT có thể nhanh hơn 13 lần nếu sử dụng chip do Groq phát triển, mặc dù điều này còn phụ thuộc vào nhiều yếu tố liên quan khác.

Theo Artificial Analysis, mức hiệu suất này có thể mở ra những khả năng mới cho các mô hình ngôn ngữ lớn (LLM) trên nhiều lĩnh vực khác nhau. Các chatbot sử dụng chip LPU của Groq có thể tạo ra hàng trăm từ trong tích tắc, cho phép người dùng thực hiện các tác vụ theo thời gian thực. Trong một thử nghiệm, người sáng lập và Giám đốc điều hành Groq Jonathon Ross đã hướng dẫn người dẫn chương trình CNN trò chuyện trực tiếp bằng lời nói với một chatbot AI ở bên kia địa cầu.

Các chatbot AI như ChatGPT, Gemini, Llama… có thể hữu ích hơn đáng kể nếu chúng phản hồi nhanh hơn. Một trong những hạn chế đáng kể hiện tại là các chatbot này không thể bắt kịp lời nói của con người trong thời gian thực. Độ trễ lớn khiến cuộc đối thoại trở nên máy móc và không đáp ứng được yêu cầu trong nhiều lĩnh vực.

Bất chấp kỳ vọng xung quanh chip LPU của Groq, vấn đề trước mắt là cần đánh giá khả năng ứng dụng thực tế của loại chip này so với sản phẩm tương tự. Khác với GPU của Nvidia hay TPU của Google, LPU của Groq là một loại chip AI chuyên dụng, được thiết kế để tối ưu hóa cho các tác vụ nhất định, chứ không phải là một loại chip AI ‘đa năng’.

Bên cạnh đó, đây cũng là thời điểm các nhà phát triển AI lớn đều đang tìm cách phát triển chip nội bộ để tránh lệ thuộc vào các sản phẩm của Nvidia. OpenAI được cho là đang tìm kiếm nguồn vốn hàng ngàn tỷ USD để phát triển chip của riêng mình. Giám đốc điều hành OpenAI Sam Altman thậm chí còn đang tính tới việc xây dựng lại cấu trúc chip AI hoàn toàn mới từ đầu.