Meta công bố LLM Compiler

 (twitter.com/AIatMeta)
6 điểm bởi GN⁺ 2024-06-30 | 2 bình luận | Chia sẻ qua WhatsApp
  • Meta công bố dòng mô hình LLM Compiler được phát triển dựa trên Code Llama, có khả năng tối ưu hóa mã và thực hiện các chức năng của trình biên dịch
  • Các mô hình này có các khả năng sau:
    • Mô phỏng trình biên dịch
    • Dự đoán pass tối ưu nhất để tối ưu kích thước mã
    • Dịch ngược mã máy
  • Có thể tinh chỉnh cho các tác vụ tối ưu hóa và trình biên dịch mới

Tính năng chính

  • Đạt kết quả hàng đầu trong tối ưu kích thước mã và dịch ngược mã máy
  • Chứng minh rằng AI đang học cách tối ưu hóa mã và có thể hỗ trợ các chuyên gia trình biên dịch xác định cơ hội tối ưu hóa

Công bố mô hình

  • Phát hành các mô hình LLM Compiler 7B và 13B theo giấy phép cởi mở cho cả nghiên cứu và sử dụng thương mại
  • Hỗ trợ để nhà phát triển và nhà nghiên cứu có thể dễ dàng tận dụng và thực hiện các nghiên cứu mới trong lĩnh vực này

Bài viết liên quan

2 bình luận

 
ragingwind 2024-07-01

Ý tưởng có vẻ khá thú vị.
 
GN⁺ 2024-06-30
Ý kiến trên Hacker News
  • Việc dùng LLM như một trình biên dịch/trình dịch ngược là một ứng dụng thú vị
  • Với trình biên dịch, độ tin cậy và độ chính xác là yếu tố quan trọng
  • LLM về bản chất là không thể dự đoán hoàn toàn, nên việc đưa nó vào pipeline build tạo cảm giác khá kỳ lạ
  • Trong bài báo, họ bắt đầu với CodeLlama và huấn luyện mô hình cho ba tác vụ
    • Tác vụ thứ nhất là biên dịch: đưa vào mã nguồn và cờ trình biên dịch rồi dự đoán assembly đầu ra
    • Tác vụ thứ hai là dự đoán/tối ưu cờ trình biên dịch: tối ưu kích thước assembly
    • Tác vụ thứ ba là dịch ngược: họ cho rằng cách này có ưu điểm so với các phương pháp trước đây
  • Có vấn đề về khả năng kiểm chứng của cách tiếp cận dịch ngược
  • Họ dùng phương pháp biên dịch lại đoạn mã đã dịch ngược để kiểm tra độ chính xác
  • Độ chính xác khoảng 45% nên vẫn chưa đủ đáng tin cậy, nhưng có thể hữu ích nếu dùng cùng các trình dịch ngược truyền thống
  • Tôi muốn tìm hiểu liệu mô hình này có thể mở rộng sang tối ưu hiệu năng hay không
  • Có vẻ sẽ ngày càng có nhiều hệ thống nơi LLM cung cấp trực giác còn phần xử lý được thực hiện theo cách cơ học/nghiêm ngặt
  • Tôi tò mò làm sao để xác minh rằng LLM có bảo toàn ngữ nghĩa của đầu vào hay không
  • Có thể xem nghiên cứu trước đó trên GitHub
  • Twitter tỏ ra ấn tượng với nghiên cứu này, nhưng tôi nghĩ nó có khả năng phá hỏng chương trình khá cao
  • Không giống các bài báo AI khác của Meta, không có nhắc đến việc nó được dùng trong Instagram, Facebook hay Meta
  • Có lẽ "Compiler LLM" sẽ là tên chính xác hơn "LLM Compiler"
  • Tôi không hiểu mục đích của công trình này
  • Tôi nhớ trong game <i>Deus Ex</i> từng giao dịch Meta Technologies Neural Optimizer và Disassembler