Posits, một kiểu số mới giúp cải thiện toán học cho AI

• Việc huấn luyện các mạng nơ-ron lớn đòi hỏi năng lực tính toán ở quy mô lớn
  • Trường hợp như GPT-3 của OpenAI, riêng chi phí huấn luyện đã vượt khoảng $5m
• Các kỹ sư đã nghĩ ra những cách khác để biểu diễn số nhằm giảm gánh nặng chi phí này
• Posits, được đề xuất vào năm 2017, là một cải tiến đối với các bộ xử lý số học dấu phẩy động đang được sử dụng ngày nay
• Lõi đầu tiên hiện thực hóa điều này ở cấp độ phần cứng đã được phát triển. So với phương pháp FP hiện tại, độ chính xác của tác vụ tính toán tăng tối đa tới 4 lần

  Vì định luật Moore ngày càng không còn đúng nữa, nên cần tìm cách khai thác nhiều hiệu năng hơn trên cùng một cỗ máy
  Một trong những cách đó là thay đổi phương thức mã hóa số thực (Real Number) và cách biểu diễn các con số thực tế

• Đây không phải là nơi duy nhất thử thay đổi loại số này. Gần đây, Nvidia, Arm và Intel đã đồng thuận sử dụng số dấu phẩy động 8-bit thay cho 32/16-bit cho các ứng dụng machine learning
  • Dùng định dạng nhỏ hơn và kém chính xác hơn sẽ cải thiện hiệu quả và mức sử dụng bộ nhớ, đổi lại phải hy sinh độ chính xác tính toán
• Vì số thực là vô hạn nên phần cứng không thể biểu diễn chúng một cách hoàn hảo
• Để khớp với số bit được chỉ định, nhiều số thực phải được làm tròn
• Ưu điểm của Posits đến từ cách các con số cần biểu diễn chính xác được phân bố dọc theo trục số
  ( Với cách phân bố thực tế của Posits, vui lòng xem hình minh họa trong bài viết. )
• Mức cải thiện độ chính xác thu được từ đó là điều khó phủ nhận, nhưng việc nó sẽ tác động chính xác ra sao tới quá trình huấn luyện các AI lớn như GPT-3 thì vẫn còn phải chờ xem