Mô hình AI mới nhất của Google: Ít tham số, nhiều dữ liệu

Mô hình AI ngôn ngữ lớn mới nhất của Google có ít tham số hơn, nhưng sử dụng lượng dữ liệu đào tạo gấp 5 lần so với phiên bản tiền nhiệm.

PaLM 2, mô hình ngôn ngữ lớn (LLM) mới nhất của Google vừa công bố tuần trước, sử dụng dung lượng dữ liệu đào tạo gần gấp 5 lần so với “người tiền nhiệm” của năm 2022, cho phép nó có thể lập trình, giải toán và sáng tạo nội dung nâng cao hơn.

Tại sự kiện Hội nghị các nhà phát triển Google I/O, gã khổng lồ tìm kiếm đã giới thiệu PaLM 2 - mô hình ngôn ngữ được đào tạo dựa trên 3,6 ngàn tỷ mã thông báo (token). Các token này là chuỗi các từ - nền tảng tạo thành khối dùng trong đào tạo LLM dự đoán từ tiếp theo sẽ xuất hiện.

Phiên bản trước đó của PaLM được phát hành vào năm 2022 và được đào tạo bằng 780 tỷ mã thông báo.

Mặc dù Google liên tục giới thiệu sức mạnh AI trong những tác vụ tìm kiếm, email, xử lý văn bản và bảng tính, song công ty này không muốn công khai kích thước hoặc chi tiết về bộ dữ liệu đào tạo của mình. OpenAI cũng giữ bí mật chi tiết thông số huấn luyện LLM mới nhất của họ là GPT-4.

Các công ty công nghệ lý giải nguyên nhân do bản chất cạnh tranh của hoạt động kinh doanh. Cả Google và OpenAI đều đang chạy đua thu hút người dùng với các sản phẩm chatbot thay vì công cụ tìm kiếm truyền thống.

Nhỏ gọn, mạnh mẽ, tiết kiệm chi phí

Google cho biết, PaLM 2 có kích thước nhỏ gọn hơn so với những mô hình tiền nhiệm, khi được huấn luyện với 340 tỷ tham số so với 540 tỷ tham số của phiên bản trước đó. Điều này cho thấy công nghệ của công ty đang trở nên hiệu quả hơn trong thực thi những tác vụ phức tạp.

Để đạt được điều này, PaLM 2 sử dụng kỹ thuật mới gọi là “tối ưu điện toán mở rộng”, mang lại “hiệu suất tổng quát tốt hơn, bao gồm khả năng suy luận nhanh hơn với ít tham số làm giảm chi phí hoạt động”.

Mô hình AI ngôn ngữ mới nhất của Google được đào tạo trên 100 ngôn ngữ, đang thực hiện nhiều nhiệm vụ khác nhau cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard. PaLM 2 có bốn phiên bản dựa trên kích cỡ, từ nhỏ nhất đến lớn nhất: Gecko (Tắc kè), Otter (Rái cá), Bison (Bò rừng) và Unicorn (Kỳ lân).

Theo các tài liệu công khai, PaLM 2 mạnh hơn bất kỳ mô hình nào hiện có. LlaMA của Facebook, ra mắt vào tháng 2, được huấn luyện dựa trên 1,4 ngàn tỷ token. Trong khi đó, lần gần nhất OpenAI công khai kích cỡ dữ liệu đào tạo cho ChatGPT là phiên bản GPT-3 với 300 tỷ mã thông báo.

Sự bùng nổ các ứng dụng AI đã tạo ra những tranh cãi xung quanh công nghệ này. Đầu năm nay, El Mahdi El Mhamdi, một nhà khoa học cấp cao tại Google Research đã từ chức để phản đối sự thiếu minh bạch của gã khổng lồ tìm kiếm.

Tuần này, CEO OpenAI Sam Altman cũng có phiên điều trần trước tiểu ban Tư pháp Thượng viện Mỹ về quyền riêng tư và công nghệ trong bối cảnh AI trở nên phổ biến. Tại đây, “cha đẻ” ChatGPT nhất trí với các nhà lập pháp rằng cần có quy định mới để quản lý AI.