Hãng cho biết mô hình AI này được thiết kế nhằm giải quyết thách thức lớn trong tổng hợp video là "xây dựng chuyển động thực tế, đa dạng và mạch lạc".
Video do AI tạo ra trước đây thường bị giật cục, trong khi cách tiếp cận của Google mang tới trải nghiệm liền mạch hơn. Lumiere làm được điều đó thông qua kiến trúc Space-Time U-Net, trong đó tạo ra video hoàn chỉnh từ đầu đến cuối chỉ trong một lần chạy.
Video do Lumiere tạo ra. Video: Google Research
Phương thức này khác với những mô hình trước đây, vốn chỉ tổng hợp những khoảnh khắc chính và cách xa nhau, khiến video cuối cùng khó đạt được sự đồng nhất.
Lumiere có thể xây dựng phong cách riêng cho video, dựa trên hình ảnh mẫu do người dùng cung cấp. Ngoài tạo nội dung mới, nó cũng được dùng để chỉnh sửa hoặc chữa những phần bị lỗi trong video sẵn có theo yêu cầu của người dùng.
Google Research so sánh hiệu năng của Lumiere với các AI tạo video từ văn bản hiện nay, như ImagenVideo, Pika, ZeroScope và Gen2, bằng cách đề nghị một nhóm thử nghiệm chọn ra video có chất lượng hình ảnh và chuyển động tốt nhất, nhưng không cho biết chúng được tạo ra bởi mô hình nào. Theo báo cáo, Lumiere vượt xa mọi đối thủ trong thử nghiệm.
Mô hình này chưa được tung ra cho công chúng và người dùng Internet hiện mới chỉ được xem các bản demo của Lumiere.
Ý kiến ()