Tiêu thụ firehose của Bluesky với chi phí dưới $2.50/tháng

• Dữ liệu của atproto và Bluesky được khai thác như thế nào

• Mọi dữ liệu trên Bluesky đều rất công khai, và hiện có 15 triệu người dùng. Điều này cung cấp một lượng lớn dữ liệu công khai.

• Có thể dùng Jetstream để kết nối tới hoạt động mạng theo thời gian thực qua feed JSON WebSocket. Việc bắt đầu rất dễ và cũng khá thú vị.

• Kết nối Firehose

• Có thể tiêu thụ firehose miễn phí ngay trong trình duyệt.

• Một ứng dụng nhỏ

• Tác giả đã phác thảo một ứng dụng lắng nghe mọi sự kiện xóa trên firehose và ẩn danh hiển thị đoạn văn bản bị xóa gần nhất. Việc nhìn thấy lý do mọi người chọn xóa bài khá thú vị.

• Ứng dụng này chạy trên Fly:

  • Fly machine, shared-cpu-1x, 256MB RAM: $1.94/tháng
  • Persistent volume 2GB: $0.30/tháng

• Ứng dụng hoạt động tốt trên một instance nhỏ.

• Ứng dụng làm gì

• Nhận các sự kiện tạo bài đăng mới trong collection app.bsky.feed.post.

• Lọc các bài đăng trống và áp dụng chỉnh sửa cho các lượt nhắc và liên kết.

• Dùng did+rkey làm khóa trong Pebbledb để cache nội dung văn bản sạch vào volume.

• Định kỳ xóa văn bản đã lưu lâu hơn 48 giờ.

• Với mỗi sự kiện bài đăng bị xóa, lấy văn bản từ cache và phát tới những người đang theo dõi hiện tại.

• Những ứng dụng thú vị hơn có thể sẽ không thu gọn được đến mức này, nhưng một số thì có thể.

[GN⁺]

Ý kiến Hacker News

• Ưu điểm của BlueSky là có thể dùng tên người dùng làm website và hỗ trợ sao chép, dán hình ảnh trên iOS
  • Có cung cấp starter pack cho hacker Ruby và tồn tại nhiều cộng đồng đa dạng
• Firehose của bsky gợi lại cảm giác hoài niệm về năm 2005 và rất thú vị
  • Đã dùng nó để thực hiện một số dự án vui
• Cảm giác như môi trường phát triển tự do của Twitter ngày xưa đã quay trở lại
  • Trước đây từng phát triển bot trên Twitter và đã thắng một cuộc thi
• Một trong những lý do BlueSky tốt hơn X là nó đáng để ủng hộ ngay cả khi bỏ qua các vấn đề chính trị
  • Không rõ liệu họ có cung cấp nhiều dạng data dump khác nhau hay không
• Trải nghiệm dùng firehose của Twitter trước đây rất thú vị, và thật đáng mong đợi khi những ý tưởng như vậy được hồi sinh
• So với các quy định API mới của Twitter, khả năng tiếp cận của BlueSky rất ấn tượng
• Có sự bất mãn với việc Twitter phá vỡ tự động hóa và định thu 100 USD mỗi tháng
  • Hiện đã tăng lên 200 USD, mức này gần tương đương tiền trả góp mua ô tô
• Có cảm giác dữ liệu này có thể sẽ được dùng làm dữ liệu huấn luyện cho AI/LLM
• Bản demo từ firehose theo từng từ rất xuất sắc, có vẻ những người sáng tạo sẽ có thể tận dụng nó để làm ra các sản phẩm tuyệt vời
• Đang vận hành một tài khoản quan trọng trên Twitter và đang tìm cách tự động đăng bài lên Threads và BlueSky