Mandala - Tự động lưu, truy vấn và quản lý phiên bản cho các phép tính Python

• Một framework được tạo ra để tự động hóa việc theo dõi thí nghiệm ML
• Không giống các công cụ theo dõi thí nghiệm khác, nó biến logic lưu trữ bền vững, truy vấn và quản lý phiên bản thành một phần thông thường của chính ngôn ngữ lập trình
• Mục tiêu là giúp bạn có thể viết mã tính toán giàu khả năng biểu đạt mà không cần nghĩ về tính bền vững như khi làm việc trong các phiên tương tác, đồng thời vẫn tận dụng được mọi lợi ích của một kho lưu trữ có quản lý phiên bản và có thể truy vấn về sau
• Loại bỏ công sức và phần mã phụ cần thiết cho việc theo dõi thí nghiệm ML (và hơn thế nữa) bằng hai công cụ đa dụng:
  1. Decorator @op:
  • Ghi lại đầu vào, đầu ra và mã (+ phụ thuộc) của các lệnh gọi hàm Python
  • Tự động tái sử dụng các kết quả trước đó và không tính toán cùng một lời gọi hai lần
  • Được thiết kế để có thể kết hợp thành các chương trình bền vững end-to-end, cho phép phát triển lặp hiệu quả trong Python thông thường mà không cần nghĩ đến backend lưu trữ
  2. Cấu trúc dữ liệu ComputationFrame:
  • Tự động tổ chức việc thực thi mã mệnh lệnh thành đồ thị tính toán cấp cao của các biến và phép toán. Phát hiện các mẫu như vòng lặp phản hồi, phân nhánh/hợp nhất, tổng hợp/lập chỉ mục
  • Truy vấn quan hệ giữa các biến bằng cách trích xuất một dataframe trong đó các cột là biến và phép toán của đồ thị, còn mỗi hàng chứa các giá trị/lời gọi của một lần thực thi (có thể là từng phần) của đồ thị
  • Tự động hóa việc khám phá và các thao tác cấp cao trên "mạng lưới" không đồng nhất của các lệnh gọi @op