- AlphaEvolve do Google DeepMind công bố là một tác nhân lập trình tiến hóa kết hợp mô hình Gemini với bộ đánh giá tự động để khám phá và tối ưu hóa thuật toán
- Gemini Flash phụ trách khám phá không gian ý tưởng rộng, Gemini Pro đảm nhiệm các đề xuất sâu hơn, và các chương trình ứng viên được chạy, kiểm chứng, chấm điểm rồi phát triển thành những biến thể đầy hứa hẹn
- Trong năm qua, các thuật toán được khám phá đã được triển khai vào lập lịch trung tâm dữ liệu, thiết kế TPU và tối ưu hóa Gemini, và tại Borg đã liên tục thu hồi trung bình 0.7% tài nguyên tính toán của Google trên toàn cầu
- Kernel nhân ma trận của Gemini nhanh hơn 23%, giúp giảm 1% thời gian huấn luyện, còn bản triển khai kernel FlashAttention đạt mức tăng tốc tối đa 32.5%
- Trong lĩnh vực toán học, hệ thống đã tìm ra thuật toán thực hiện phép nhân ma trận phức 4x4 bằng 48 phép nhân vô hướng, và cải thiện lời giải tốt nhất trước đó ở khoảng 20% trong hơn 50 bài toán công khai
Cách AlphaEvolve tiến hóa thuật toán
- AlphaEvolve là một tác nhân lập trình tiến hóa hướng tới mục tiêu khám phá và tối ưu hóa thuật toán mang tính tổng quát
- Hệ thống gắn bộ đánh giá tự động vào khả năng giải quyết vấn đề sáng tạo của mô hình ngôn ngữ lớn để kiểm chứng câu trả lời, rồi tiếp tục cải thiện các ý tưởng triển vọng bằng khung tiến hóa
- Năm 2023, Google DeepMind đã cho thấy LLM có thể tìm ra tri thức mới có thể kiểm chứng trong các bài toán khoa học công khai thông qua việc tạo hàm mã nguồn; AlphaEvolve mở rộng điều này từ một hàm đơn lẻ sang toàn bộ codebase và các thuật toán phức tạp hơn
- Cấu hình mô hình được chia vai trò giữa độ rộng khám phá và chất lượng đề xuất
- Gemini Flash: mô hình nhanh và hiệu quả để khám phá không gian ý tưởng rộng hơn
- Gemini Pro: mô hình mạnh hơn để đưa ra các đề xuất giàu insight hơn
- Các chương trình được tạo ra sẽ được chạy, kiểm chứng và chấm điểm bằng các chỉ số đánh giá tự động, đặc biệt phù hợp với các bài toán toán học và khoa học máy tính nơi có thể định lượng độ chính xác và chất lượng
Kết quả áp dụng vào hạ tầng Google
- Trong năm qua, các thuật toán do AlphaEvolve khám phá đã được triển khai trên toàn bộ trung tâm dữ liệu, phần cứng và phần mềm của Google
- Khi các tối ưu hóa riêng lẻ được áp dụng vào hạ tầng AI và tính toán quy mô lớn, chúng tạo ra hiệu quả xử lý được nhiều công việc hơn với cùng một lượng tài nguyên
-
Lập lịch trung tâm dữ liệu
- AlphaEvolve đã tìm ra một heuristic đơn giản nhưng hiệu quả giúp Borg điều phối các trung tâm dữ liệu quy mô lớn của Google hiệu quả hơn
- Giải pháp này đã chạy trong môi trường production hơn 1 năm và liên tục thu hồi trung bình 0.7% tài nguyên tính toán của Google trên toàn cầu
- Giải pháp được triển khai bằng mã nguồn con người có thể đọc được, nên cũng mang lại khả năng diễn giải, dễ debug, tính dự đoán và dễ triển khai
-
Thiết kế phần cứng
- Hệ thống đã đề xuất phương án viết lại Verilog để loại bỏ các bit không cần thiết trong các mạch số học được tối ưu hóa cao cho phép nhân ma trận
- Các sửa đổi được đề xuất phải vượt qua quy trình kiểm chứng nghiêm ngặt để xác nhận vẫn giữ được tính đúng đắn chức năng của mạch
- Đề xuất này đã được tích hợp vào các Tensor Processing Unit tương lai, tức bộ tăng tốc AI tùy biến của Google
- Việc đề xuất sửa đổi bằng ngôn ngữ tiêu chuẩn mà các nhà thiết kế chip sử dụng cũng phù hợp với cách cộng tác giữa AI và kỹ sư phần cứng
Tối ưu hóa huấn luyện và suy luận Gemini
- AlphaEvolve đã tìm ra cách chia các tác vụ nhân ma trận lớn thành những bài toán con nhỏ hơn, giúp kernel cốt lõi của kiến trúc Gemini nhanh hơn 23%
- Cải tiến kernel này giúp giảm 1% thời gian huấn luyện Gemini, đồng thời cắt giảm tài nguyên tính toán cần cho phát triển mô hình AI tạo sinh
- Thời gian kỹ thuật dành cho tối ưu hóa kernel đã giảm từ nhiều tuần làm việc của chuyên gia xuống còn vài ngày thử nghiệm tự động
- Các lệnh GPU mức thấp cũng nằm trong phạm vi tối ưu hóa
- Đây là lĩnh vực thường đã được compiler tối ưu hóa rất mạnh, nên kỹ sư con người thường không trực tiếp chỉnh sửa
- Trong bản triển khai kernel FlashAttention của các mô hình AI dựa trên Transformer, hệ thống đạt mức tăng tốc tối đa 32.5%
- Những tối ưu hóa như vậy giúp chuyên gia xác định nút thắt hiệu năng và dễ dàng tích hợp các cải tiến vào codebase
Toán học và khám phá thuật toán
- AlphaEvolve có thể đề xuất các cách tiếp cận mới cho những bài toán toán học phức tạp ngay cả khi chỉ được cung cấp bộ khung mã tối thiểu
- Hệ thống đã thiết kế nhiều thành phần của một quy trình tối ưu hóa dựa trên gradient mới để khám phá các thuật toán mới cho phép nhân ma trận
- Trong ví dụ được nêu, nhiều thành phần như bộ tối ưu hóa, khởi tạo trọng số, hàm mất mát và tìm kiếm hyperparameter đã được thay đổi, và quá trình tiến hóa cần 15 đột biến
- Quy trình của AlphaEvolve đã tìm ra thuật toán thực hiện phép nhân ma trận phức 4x4 bằng 48 phép nhân vô hướng
- Đây là kết quả cải thiện so với thuật toán năm 1969 của Strassen, vốn là lời giải tốt nhất đã biết trong thiết lập này
- AlphaTensor, vốn chuyên cho các thuật toán nhân ma trận, trước đó chỉ tìm ra cải tiến cho số học nhị phân ở ma trận 4x4
- Hệ thống cũng được áp dụng cho hơn 50 bài toán công khai trong phân tích toán học, hình học, tổ hợp và lý thuyết số
- Phần lớn thí nghiệm có thể được thiết lập chỉ trong vài giờ
- Trong khoảng 75% trường hợp, hệ thống đã tái khám phá lời giải tiên tiến nhất đã biết
- Trong khoảng 20% trường hợp, hệ thống cải thiện lời giải tốt nhất trước đó và tạo ra tiến triển cho bài toán công khai tương ứng
- Với kissing number problem, hệ thống đã tìm ra cách sắp xếp 593 hình cầu ngoài trong không gian 11 chiều, thiết lập một cận dưới mới
Kế hoạch công bố và phạm vi ứng dụng
- AlphaEvolve cho thấy xu hướng mở rộng từ khám phá thuật toán trong các lĩnh vực cụ thể sang phát triển các thuật toán phức tạp cho bài toán thực tế
- Google DeepMind kỳ vọng AlphaEvolve sẽ tiếp tục được cải thiện khi năng lực lập trình của các mô hình ngôn ngữ lớn tăng lên
- Cùng với People + AI Research team, công ty đang xây dựng giao diện thân thiện với người dùng để tương tác với AlphaEvolve
- Google DeepMind đang lên kế hoạch Early Access Program cho một số người dùng học thuật được chọn và cũng đang xem xét khả năng công bố rộng hơn
- Việc đăng ký quan tâm sẽ được nhận qua biểu mẫu này
- Hiện tại phạm vi áp dụng là toán học và tính toán, nhưng bất kỳ bài toán nào có thể biểu diễn lời giải dưới dạng thuật toán và tự động kiểm chứng đều có thể áp dụng
- Google DeepMind cho rằng AlphaEvolve cũng có thể tạo ra thay đổi trong khoa học vật liệu, khám phá thuốc, phát triển bền vững và các ứng dụng kỹ thuật, kinh doanh rộng hơn
- Tài liệu liên quan
Chưa có bình luận nào.