Addition là tất cả những gì bạn cần cho các mô hình ngôn ngữ tiết kiệm năng lượng

Addition cho các mô hình ngôn ngữ tiết kiệm năng lượng

• Bối cảnh nghiên cứu

  • Các mạng nơ-ron lớn sử dụng phần lớn phép tính cho các phép nhân tensor dấu phẩy động.
  • Nghiên cứu này phát hiện rằng có thể xấp xỉ một bộ nhân dấu phẩy động bằng một bộ cộng số nguyên với độ chính xác cao.

• Thuật toán L-Mul

  • Đề xuất L-Mul, một thuật toán nhân có độ phức tạp tuyến tính, xấp xỉ phép nhân số dấu phẩy động bằng phép cộng số nguyên.
  • Thuật toán mới đạt độ chính xác cao hơn trong khi tiêu tốn ít tài nguyên tính toán hơn so với phép nhân dấu phẩy động 8 bit.
  • Vì phép nhân số dấu phẩy động tiêu thụ năng lượng cao hơn đáng kể so với phép cộng số nguyên, việc áp dụng phép toán L-Mul vào phần cứng xử lý tensor có thể giảm chi phí năng lượng của phép nhân tensor dấu phẩy động theo từng phần tử tới 95% và của tích vô hướng tới 80%.

• Đánh giá lý thuyết và thực nghiệm

  • Tính toán kỳ vọng sai số lý thuyết của L-Mul, đồng thời đánh giá thuật toán trên nhiều tác vụ văn bản, thị giác và biểu tượng như hiểu ngôn ngữ tự nhiên, suy luận có cấu trúc, toán học và hỏi đáp kiến thức thường thức.
  • Kết quả thực nghiệm phân tích số phù hợp với ước lượng sai số lý thuyết, cho thấy L-Mul với mantissa 4 bit đạt độ chính xác tương đương phép nhân float8_e4m3, còn L-Mul với mantissa 3 bit vượt trội hơn float8_e5m2.
  • Kết quả đánh giá benchmark đáng chú ý cho thấy việc áp dụng trực tiếp L-Mul vào cơ chế attention gần như không gây suy hao.
  • Khi thay thế mọi phép nhân dấu phẩy động trong mô hình transformer bằng L-Mul mantissa 3 bit, mô hình đạt độ chính xác tương đương với việc dùng float8_e4m3 với độ chính xác tích lũy trong tinh chỉnh và suy luận.

Tóm tắt của GN⁺

• Thuật toán L-Mul đưa ra một phương pháp có thể cải thiện đáng kể hiệu quả năng lượng mà vẫn duy trì độ chính xác cao.
• Nghiên cứu cho thấy khả năng giải quyết vấn đề tiêu thụ năng lượng của các phép toán dấu phẩy động, đặc biệt hứa hẹn cho việc ứng dụng trong các mô hình mạng nơ-ron lớn.
• Nghiên cứu này có thể thu hút nhiều sự quan tâm trong các lĩnh vực mà tiết kiệm năng lượng là quan trọng; một dự án khác có chức năng tương tự là TensorFlow Lite của Google.