Kỹ thuật huấn luyện AI mới của Google, JEST, nhanh hơn rất nhiều so với trước đây

• Các nhà nghiên cứu Google DeepMind đã công bố trong một bài báo phương pháp mới mang tên JEST giúp tăng tốc độ huấn luyện AI. Phương pháp này giúp giảm đáng kể tài nguyên tính toán và thời gian cần cho công việc
• Cách tiếp cận Multimodal Contrastive learning with Joint Example Selection (JEST) nhanh hơn tới 13 lần và hiệu quả hơn 10 lần. Điều đó đồng nghĩa nhu cầu năng lượng có thể được giảm xuống
• Theo một bài nghiên cứu gần đây, cách tiếp cận mới đối với quy trình vốn tiêu tốn nhiều năng lượng này có thể giúp việc phát triển AI nhanh hơn và rẻ hơn. Đây là tin tốt cho môi trường

Mức tiêu thụ năng lượng cao của ngành AI

• Các hệ thống AI quy mô lớn đòi hỏi năng lực xử lý rất lớn, kéo theo nhu cầu cao về điện năng và nước làm mát
• Lượng nước tiêu thụ của Microsoft được báo cáo đã tăng vọt 34% từ năm 2021 đến 2022 do nhu cầu tính toán AI gia tăng
• IEA dự báo mức tiêu thụ điện của các trung tâm dữ liệu sẽ tăng gấp đôi từ 2022 đến 2026. Điều này dẫn đến các so sánh giữa nhu cầu điện của AI và hồ sơ năng lượng của ngành khai thác tiền mã hóa vốn bị chỉ trích
• Tuy nhiên, các cách tiếp cận như JEST có thể mang lại lời giải. Bằng cách tối ưu hóa việc chọn dữ liệu cho huấn luyện AI, số vòng lặp và năng lực tính toán cần thiết có thể giảm mạnh, từ đó làm giảm tổng mức tiêu thụ năng lượng

JEST hoạt động như thế nào

• JEST chọn các lô dữ liệu bổ trợ lẫn nhau nhằm tối đa hóa khả năng học của mô hình AI. Khác với các phương pháp truyền thống chọn từng ví dụ riêng lẻ, thuật toán này xem xét thành phần của toàn bộ tập dữ liệu
• Các nhà nghiên cứu Google đã sử dụng "multimodal contrastive learning", trong đó quy trình JEST xác định sự phụ thuộc giữa các điểm dữ liệu. Phương pháp này cải thiện tốc độ và hiệu quả của huấn luyện AI trong khi cần ít sức mạnh tính toán hơn rất nhiều
• Việc dùng một mô hình tham chiếu đã được tiền huấn luyện để điều phối quy trình chọn dữ liệu là cốt lõi của cách tiếp cận này. Kỹ thuật này cho phép mô hình tập trung vào các bộ dữ liệu chất lượng cao đã được tuyển chọn kỹ, từ đó tối ưu thêm hiệu quả huấn luyện
• Việc huấn luyện trên bộ dữ liệu WebLI bằng JEST cho thấy mức cải thiện đáng kinh ngạc về tốc độ học và hiệu quả tài nguyên
• Thuật toán sử dụng một kỹ thuật gọi là "data quality bootstrapping" để tăng tốc quy trình huấn luyện bằng cách tập trung vào những mẩu dữ liệu cụ thể "khớp nhau". Kỹ thuật này đề cao chất lượng hơn số lượng và đã được chứng minh là tốt hơn cho huấn luyện AI