- Trực quan hóa dữ liệu khoa học đang gặp nút thắt ngày càng lớn do dữ liệu dung lượng lớn, nhiều chiều và nhu cầu phân tích thời gian thực; fastplotlib là một thư viện Python nhằm giảm nút thắt này bằng khả năng vẽ đồ thị tăng tốc bằng GPU
- Với kết xuất dựa trên WGPU, thư viện hỗ trợ khám phá dữ liệu quy mô lớn, tạo mẫu nhanh, thiết kế thuật toán và xây dựng hệ thống thu thập thời gian thực cho thiết bị đo lường
- Áp dụng API lấy mảng làm trung tâm, cho phép thay đổi động các thuộc tính đồ họa như màu sắc, colormap và dữ liệu bằng cách đánh chỉ mục kiểu NumPy ngay cả sau khi tạo plot ban đầu
- Hệ thống sự kiện dựa trên callback cho phép định nghĩa các tương tác của người dùng như nhấp chuột; trong ví dụ, luồng xử lý tìm hình tròn gần vị trí nhấp nhất và đổi màu của nó
- Việc kết xuất được trừu tượng hóa trên pygfx và nhắm tới Vulkan, Metal, DX12 thông qua WGPU, nên tập trung vào việc tận dụng GPU hiện đại hơn so với các công cụ xoay quanh OpenGL
Nút thắt trực quan hóa khoa học mà fastplotlib nhắm tới
- fastplotlib là một thư viện vẽ đồ thị khoa học tăng tốc bằng GPU sử dụng WGPU, hướng tới trực quan hóa nhanh và tương tác
- Trực quan hóa khoa học ngày càng khó khăn chủ yếu vì các lý do sau
- Dữ liệu có thể đạt quy mô terabyte và thường có nhiều chiều
- Khó sử dụng tài nguyên tính toán một cách hiệu quả
- Nhiều công cụ tập trung vào plot tĩnh hoặc không mở rộng tốt với dữ liệu dung lượng lớn
- Trực quan hóa chậm hơn tốc độ tạo dữ liệu, làm trì hoãn phân tích thời gian thực
- fastplotlib nhấn mạnh các mục đích sử dụng sau cho trực quan hóa hiệu năng cao và tương tác
- Trực quan hóa tăng tốc bằng GPU
- Tạo mẫu nhanh và thiết kế thuật toán
- Khám phá dữ liệu quy mô lớn và kết xuất nhanh
- Tạo hệ thống thu thập thời gian thực cho thiết bị đo lường
- Với phần lớn trường hợp sử dụng, GPU tích hợp hiện đại là đủ
Khám phá tương tác vượt khỏi plot tĩnh
- Trực quan hóa khoa học truyền thống thường dựa vào plot tĩnh, nhưng trực quan hóa động và tương tác giúp việc khám phá, phân tích dữ liệu trở nên trực tiếp hơn
- Ví dụ, ma trận hiệp phương sai của Olivetti faces dataset được trực quan hóa tương tác bằng fastplotlib
- Subplot bên trái hiển thị ma trận hiệp phương sai của Olivetti faces dataset
- Mỗi phần tử trong ma trận hiệp phương sai biểu thị cường độ của hai pixel cùng thay đổi như thế nào
- Subplot bên phải là ảnh được tái dựng từ hàng hiện đang được chọn trong ma trận hiệp phương sai
- Khi di chuyển bộ chọn, có thể dễ dàng thay đổi hàng đang xem
- So với việc chỉ xem tĩnh ma trận hiệp phương sai, xem kèm ảnh tái dựng của từng hàng giúp nắm bắt rõ hơn cường độ pixel trong các khuôn mặt của dataset thay đổi như thế nào
- Ví dụ này không nhằm phân tích sâu bản thân ma trận hiệp phương sai, mà cho thấy chỉ với một mức tương tác nhỏ cũng có thể cải thiện khả năng hiểu dữ liệu
- fastplotlib cung cấp cơ chế để tạo các plot tương tác cấp cao, qua đó mở rộng phạm vi ứng dụng của trực quan hóa khoa học
API thao tác như với mảng
- Hệ sinh thái trực quan hóa khoa học Python có nhiều công cụ mã nguồn mở, nhưng một số thư viện có API phức tạp, làm tăng rào cản gia nhập đối với nhà khoa học và người dùng
- fastplotlib muốn cung cấp trực quan hóa tương tác nhanh thông qua một API trực quan
- Thiết kế cốt lõi là giúp người dùng không cần nghĩ về dữ liệu trong trực quan hóa như thứ gì khác ngoài mảng
- Khi dữ liệu vẫn giữ cấu trúc dạng mảng quen thuộc, việc tương tác với trực quan hóa cũng trở nên đơn giản hơn
- Trong ví dụ, sau khi vẽ một sóng sin, màu của mỗi điểm thứ ba được đổi thành đỏ bằng cách đánh chỉ mục kiểu NumPy
sine_wave.colors[::3] = "red"
- Bằng cách này, có thể thao tác động nhiều thuộc tính của đồ họa ngay cả sau khi đã plot lần đầu
- API dạng mảng là nền tảng để giúp fastplotlib linh hoạt và trực quan khi sử dụng
Hệ thống sự kiện cấu hình bằng callback
- fastplotlib cũng được thiết kế để có thể xử lý hệ thống sự kiện một cách đơn giản
- Các sự kiện giữa đồ họa hoặc plot có thể được định nghĩa bằng hàm callback, qua đó tạo và mở rộng trực quan hóa tương tác
- Ví dụ sự kiện nhấp chuột hoạt động theo luồng sau
- Tạo dữ liệu cho nhiều hình tròn
- Thêm các hình tròn vào plot bằng
add_line_collection
- Đăng ký handler sự kiện
"click" với renderer
- Chuyển đổi vị trí nhấp từ tọa độ màn hình sang tọa độ thế giới
- Tìm đồ họa gần vị trí nhấp nhất
- Đổi màu hình tròn gần nhất sang trắng
- Xử lý sự kiện theo cách trước tiên định nghĩa hành vi bằng hàm, rồi thêm handler vào đồ họa hoặc plot tương ứng
- Thay vì phải học một API chuyên biệt phức tạp của thư viện, người dùng có thể cấu hình tương tác bằng cách định nghĩa hàm
Tận dụng GPU và API đồ họa hiện đại
- GPU gần như đã trở thành điều kiện tiên quyết trong công việc khoa học, và trực quan hóa cũng không ngoại lệ
- Để tạo trực quan hóa độ phân giải cao với hiệu năng tốt, cần tận dụng tối đa tài nguyên tính toán của GPU
- Ví dụ fastplotlib vẽ 3 triệu điểm đồng thời thực hiện các thao tác sau
- Vẽ đường
- Phóng to và thu nhỏ
- Thay đổi colormap của đường
- Thay đổi riêng màu của một số điểm cụ thể
- Ở các thư viện trực quan hóa khoa học Python khác, khó có thể vẽ cùng lúc nhiều điểm như vậy và kiểm soát chi tiết màu của từng điểm
- fastplotlib được trừu tượng hóa trên engine kết xuất pygfx
- pygfx được vận hành bằng WGPU, và WGPU nhắm tới các API đồ họa sau theo từng nền tảng
- Linux: Vulkan
- Mac: Metal
- Windows: DX12
- Vulkan, Metal, DX12 là các API đồ họa mới nhanh hơn, hiệu quả hơn OpenGL và tận dụng phần cứng GPU tốt hơn
- Lý do fastplotlib được xây dựng trên pygfx là để trừu tượng hóa các chi tiết engine kết xuất cấp thấp như camera, renderer, scene và mã lặp, giúp người dùng tập trung vào dữ liệu
Tài liệu và nội dung tiếp theo
- fastplotlib cố gắng giải quyết các vấn đề hiện tại của trực quan hóa khoa học trong Python bằng cách kết hợp API dạng mảng dễ dùng với phần cứng đồ họa hiện đại
- Tài liệu và ví dụ được cung cấp tại tài liệu fastplotlib
- Hướng dẫn người dùng
- Cách bắt đầu
- Thư viện ví dụ
- Câu hỏi hoặc trao đổi được tiếp nhận qua GitHub Issue hoặc Discussion
- Trong tương lai, sẽ có thêm các bài viết đi sâu hơn vào ví dụ sử dụng fastplotlib và công nghệ đồ họa nền tảng
Chưa có bình luận nào.