Hướng dẫn chuyển từ Jupyter Notebook sang hệ thống có khả năng mở rộng

Đây là nội dung bài trình bày tại PyCon US 2025.

Hướng dẫn chuyển từ Jupyter Notebook sang hệ thống có khả năng mở rộng

Jupyter Notebook là một công cụ rất hữu ích cho phân tích tương tác như khám phá dữ liệu, trực quan hóa và giảng dạy. Tuy nhiên, khi cần triển khai mã vào môi trường production, và khi khả năng tái sử dụng, tự động hóa và độ vững chắc trở nên quan trọng, các giới hạn của notebook sẽ bộc lộ. Bài viết này giới thiệu quy trình và những bí quyết cốt lõi để chuyển đổi mã được viết bằng Jupyter Notebook thành một hệ thống có khả năng mở rộng, dễ bảo trì và dễ tái lập.

Ưu điểm và nhược điểm của notebook

• Ưu điểm: Có thể xem mã và văn bản cùng lúc, đồng thời kiểm tra kết quả ngay lập tức, nên đặc biệt xuất sắc cho phân tích dữ liệu khám phá và giáo dục. [00:03:18]
• Nhược điểm: Trạng thái biến có thể thay đổi theo thứ tự chạy các ô, việc quản lý phiên bản khó khăn, và rất khó tự động hóa cũng như tái sử dụng mã, trở thành rào cản đối với khả năng mở rộng. [00:04:24]

Khi nào nên chuyển sang script?

• Khi cần triển khai mã vào môi trường production
• Khi người khác cần tái sử dụng mã
• Khi cần chạy mã tự động
• Khi độ vững chắc của mã là yếu tố quan trọng
• Khi notebook đã trở nên quá phức tạp [00:05:32]

Các bước và công cụ cốt lõi để chuyển đổi

1. Trích xuất và chuyển đổi mã

• NBConvert & Jupytext: Có thể dễ dàng trích xuất mã từ notebook thành Python script. Đặc biệt, Jupytext còn cung cấp tính năng đồng bộ giữa notebook và script nên rất hữu ích. [00:10:44]

2. Quy trình refactor

• Tách công việc theo từng chức năng: Xác định từng bước trong notebook, tạo các hàm phù hợp cho mỗi bước, rồi chuyển mã vào các hàm đó. [00:12:52]
• Viết mã kiểm thử: Viết unit test hoặc integration test để đảm bảo tính chính xác của mã. Điều này đặc biệt quan trọng để ngăn lỗi có thể phát sinh trong quá trình sao chép-dán. [00:13:08]
• Quản lý requirements và dependencies: Làm rõ các module và dependency tương ứng để mã có thể dễ dàng chạy trong các môi trường khác nhau. [00:13:15]
• Áp dụng CI/CD: Xây dựng pipeline CI/CD (tích hợp liên tục/triển khai liên tục) để tự động hóa quy trình triển khai. [00:13:15]

Mẹo bổ sung để nâng cao chất lượng mã

• Định dạng mã nhất quán: Sử dụng code formatter để duy trì tính nhất quán.
• Tài liệu hóa: Hình thành thói quen viết tài liệu giải thích rõ mục đích và cách sử dụng của mã.
• Tách cấu hình: Tách riêng thông tin thiết lập và cấu hình sang các file khác để quản lý. [00:21:11]

Năng lực cốt lõi và sự chuyển đổi tư duy

• Mô-đun hóa: Khả năng phân rã mã thành các chức năng mô-đun có thể tái sử dụng là rất quan trọng.
• Tự động hóa: Tự động hóa workflow để nâng cao hiệu quả.
• Refactor dựa trên kiểm thử: Cải thiện mã trong khi vẫn duy trì sự ổn định của chức năng thông qua kiểm thử.

Ở giai đoạn khám phá, điều quan trọng là tận dụng tích cực tính linh hoạt của Jupyter Notebook; còn với mã production, cần có tư duy chuyển đổi sang các script tự động hóa, vững chắc và có thể tái lập. [00:22:16]