QAMap – CLI cục bộ đọc commit và diff để đề xuất kịch bản QA cho PR
(github.com/IvoryCanvas)Xin chào. Tôi đang xây dựng QAMap, một CLI cục bộ đọc ngữ cảnh thay đổi của PR và thiết kế các bước QA cần thiết.
Điểm nghẽn tôi cảm nhận được trong đội sản phẩm không phải là việc viết test code, mà là quá trình phải đánh giá lại trong mỗi PR rằng “thay đổi lần này cần chứng minh điều gì”. Ban đầu, tôi phân tích diff và cấu trúc dự án để đề xuất bản nháp E2E với Playwright·Maestro, nhưng trên thực tế nó chỉ dừng lại ở những nội dung lập trình viên đã biết sẵn và các bài test màn hình thành công đơn giản.
Vì vậy tôi đã thay đổi mục tiêu. Thay vì hiểu hoàn hảo mọi domain, QAMap dựa trên commit và diff để整理 ý định thay đổi và luồng chức năng, rồi đề xuất những phần QA có khả năng cao bị bỏ sót trong các nhóm bình thường·thất bại·biên·chuyển đổi trạng thái. Với các phán đoán khó chắc chắn, công cụ cũng hiển thị kèm căn cứ và độ tin cậy.
Về lâu dài, mục tiêu là một công cụ QA cục bộ: khi PR được đăng, nó sẽ tìm các chức năng bị ảnh hưởng, cấu hình E2E cần thiết cùng mock·fixture, chạy an toàn rồi lưu lại cả căn cứ kiểm chứng. Hiện tại là v0.4.0, và tôi đang cập nhật bằng cách kiểm chứng từng trường hợp sai trên các repository thực tế để tiến gần hơn tới mục tiêu đó.
Vì vẫn còn ở giai đoạn đầu, QAMap có thể diễn giải sai hoặc bỏ lỡ các kịch bản quan trọng. Điều cần nhất lúc này là các trường hợp thất bại thực tế. Nếu QAMap phán đoán lệch hoặc đề xuất những bài test không thể dùng được, xin cứ thoải mái cho tôi biết.
1 bình luận
Hướng đi đề xuất cả ranh giới/trạng thái chuyển tiếp dựa trên diff ngay trên máy cục bộ khá hay. Nếu hiển thị rõ hơn mỗi kịch bản lấy căn cứ từ diff hunk hoặc file nào, thì khi review sẽ dễ lọc false positive hơn.