PgQueuer – Thư viện Python dùng PostgreSQL làm hàng đợi tác vụ

 (github.com/janbjorge)
8 điểm bởi GN⁺ 2024-08-19 | 1 bình luận | Chia sẻ qua WhatsApp
  • PgQueuer là một thư viện hàng đợi tác vụ tối giản/hiệu năng cao cho Python, tận dụng độ vững chắc của PostgreSQL
  • Được thiết kế hướng đến sự đơn giản và hiệu quả, đồng thời sử dụng LISTEN/NOTIFY của PostgreSQL để quản lý hàng đợi tác vụ một cách dễ dàng

Tính năng

  • Tích hợp đơn giản: Có thể dễ dàng tích hợp với các ứng dụng Python hiện có đang sử dụng PostgreSQL
  • Xử lý đồng thời hiệu quả: Sử dụng FOR UPDATE SKIP LOCKED của PostgreSQL để cho phép xử lý tác vụ tin cậy và đồng thời
  • Thông báo thời gian thực: Tận dụng LISTEN và NOTIFY để cung cấp cập nhật thời gian thực về các thay đổi trạng thái tác vụ

Tóm tắt của GN⁺

  • PgQueuer giúp quản lý hàng đợi tác vụ hiệu quả trong ứng dụng Python bằng cách tận dụng tính năng LISTEN/NOTIFY của PostgreSQL.
  • Cung cấp khả năng tích hợp đơn giản và xử lý đồng thời hiệu quả, nên có thể áp dụng dễ dàng vào hệ thống hiện có.
  • Nhờ tính năng thông báo thời gian thực, có thể kiểm tra trạng thái tác vụ ngay lập tức, giúp việc quản lý tác vụ trở nên thuận tiện.
  • Các dự án khác cung cấp chức năng tương tự gồm có RQ, Celery, v.v.

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-08-19
Ý kiến trên Hacker News
  • Câu hỏi về việc so sánh với thư viện Graphile Worker
  • Suy nghĩ về khả năng các thư viện hàng đợi công việc dựa trên PostgreSQL có thể chia sẻ một schema chung
    • Là fan của Oban trên Elixir
    • Tương tự như có các thư viện tương thích Sidekiq ở nhiều ngôn ngữ, cách tiếp cận tương tự cho hàng đợi công việc dựa trên PostgreSQL cũng sẽ hữu ích
    • Có thể phát triển thư viện hàng đợi công việc lõi bằng Rust và cân nhắc binding cho từng ngôn ngữ
  • Ủng hộ việc dùng Postgres cho mọi thứ và đang tận dụng điều đó tối đa trong dự án
    • Muốn có một hàng đợi công việc Postgres thực hiện pipeline nhiều giai đoạn, fan-out và tích lũy
    • Cơ sở dữ liệu quan hệ có cấu trúc đặc biệt phù hợp để mô hình hóa việc này
    • Kích thước payload tối đa 8k của listen/notify là một hạn chế
    • Muốn có bảng streaming và hỗ trợ kiểu dữ liệu phong phú
  • Giới thiệu một tập PostgresFM rất hay về việc triển khai hàng đợi trong Postgres
  • PgQueuer tích hợp tốt các lệnh gọi Postgres RPC, trigger và cronjob (pg_cron)
  • Thư viện River cũng đáng tham khảo
    • Hỗ trợ cả các tác vụ được lên lịch, v.v.
    • Cũng cung cấp UI để debug
  • Đang dùng Broadcaster cho các tác vụ PUB/SUB
  • Ví dụ hàng đợi công việc đơn giản nhất trên MySQL
    • Dùng cú pháp update job_table set key=value where ... limit 1
    • Đơn giản và có tính nguyên tử
    • PostgreSQL không cho phép cú pháp update ... limit
  • Là người dùng MySQL nhưng đang khám phá PostgreSQL
    • Cung cấp rất nhiều tính năng ngay từ mặc định
    • Là một công cụ rất thú vị
  • Cũng có thư viện Procrastinate
    • Dùng LISTEN/NOTIFY của PostgreSQL (có thể tắt bằng tùy chọn và dùng polling)
    • Hỗ trợ tác vụ đồng bộ và bất đồng bộ, tác vụ định kỳ, retry, khóa tác vụ, ưu tiên, hủy/ngắt tác vụ, tích hợp Django (tùy chọn)
    • Là đồng bảo trì viên của Procrastinate