JIT Trace trong thế giới thực tại CPython Core Dev Sprint

Đây là bản tổng quan chuyên sâu về những thách thức kỹ thuật mà trình biên dịch JIT (Just-In-Time) truy vết mới của CPython đang phải đối mặt.

Trình chặn truy vết (Trace Blockers)

JIT truy vết xác định các đường đi mã được thực thi thường xuyên ("hot path") trong quá trình chạy chương trình, rồi ghi lại các vi thao tác (micro-operations) của đường đi đó để tạo ra mã máy đã được tối ưu hóa. Tuy nhiên, khi JIT gặp đoạn mã mà nó không thể nhìn vào bên trong, tức "trình chặn truy vết", quá trình này sẽ bị gián đoạn. Với CPython, ví dụ điển hình là việc gọi các hàm mở rộng được viết bằng C.

• Giải thích kỹ thuật: Bài blog lấy ví dụ một hàm Python thuần để tính số pi (π). JIT của PyPy có thể tối ưu hóa vòng lặp tính toán số học này rất hiệu quả, cho hiệu năng nhanh hơn CPython tới 42 lần. Nhưng nếu chỉ thêm một lời gọi hàm C mà JIT không thể truy vết (hic_sunt_leones()) vào bên trong vòng lặp, hiệu năng của PyPy sẽ giảm mạnh, chỉ còn nhanh hơn CPython khoảng 1,8 lần. Chỉ một trình chặn truy vết này đã gần như vô hiệu hóa phần lớn khả năng tối ưu của JIT. Nguyên nhân là vì JIT không biết được hoạt động nội bộ của hàm C, nên không thể tối ưu toàn bộ vòng lặp như một khối thống nhất; thay vào đó, nó phải tách mã ra để xử lý trước và sau lời gọi hàm C.

---

Luồng điều khiển phụ thuộc dữ liệu (Data-Driven Control Flow)

Vấn đề này xuất hiện khi luồng điều khiển của chương trình thay đổi lớn tùy theo dữ liệu đầu vào. JIT truy vết hoạt động hiệu quả nhất khi giả định rằng có một "hot path" nhất quán, nhưng nếu đường thực thi liên tục thay đổi theo dữ liệu thì giả định này sẽ không còn đúng.

• Giải thích kỹ thuật: Bài blog đưa ra ví dụ một hàm nhận 9 đối số. Mỗi đối số có thể là None hoặc một con số, và bên trong hàm có một loạt điều kiện dạng if <var> is None: .... Trong trường hợp này, đường đi mã được thực thi sẽ thay đổi mỗi lần tùy theo tổ hợp các giá trị None trong đầu vào. Vì vậy, JIT sẽ đối mặt với vấn đề "số lượng trace tăng theo cấp số mũ (exponential number of traces)". Nói cách khác, JIT sẽ cố tạo mã tối ưu hóa riêng cho mọi tổ hợp có thể có của các đối số None, gây ra overhead khổng lồ và cuối cùng dẫn đến kết quả còn chậm hơn rất nhiều so với CPython không dùng JIT.

Tóm lại, bài viết nhấn mạnh rằng để JIT truy vết mới của CPython có thể triển khai thành công, nó cần giải quyết các vấn đề "trình chặn truy vết" và "luồng điều khiển phụ thuộc dữ liệu" này. Điều đó cho thấy đây không chỉ là vấn đề triển khai đơn thuần mà còn có thể là giới hạn mang tính nền tảng của chính công nghệ JIT truy vết.