Phát triển hệ thống Programmable Webhook bằng Template Engine

• Postback là gì?: Gửi tín hiệu về việc phát sinh kết quả cho nền tảng quảng cáo. Phía nền tảng nhận tín hiệu này và dùng nó để tối ưu hóa chiến dịch.
• Vai trò của Postback trong Airbridge: Không chỉ gửi tín hiệu cho nền tảng quảng cáo mà còn đảm nhiệm chức năng gửi dữ liệu tới các dịch vụ third party. Về mặt khái niệm, đó là cùng một công nghệ là webhook.
• Bài toán cần giải quyết: Về sau phải có khả năng tích hợp với thêm hàng nghìn dịch vụ một cách dễ dàng. Muốn vậy, việc tích hợp phải thật đơn giản.
• Các chức năng hệ thống tích hợp cần cung cấp:
  • Phải có khả năng chỉ gửi những sự kiện cần thiết trong số các sự kiện đã thu thập
  • Phải có khả năng cấu thành HTTP payload phù hợp với API Spec của máy chủ nhận
• Vấn đề của hệ thống hiện có: Dù đã xây dựng một hệ thống vận hành theo template ở một mức độ nhất định, nhưng mỗi khi phát sinh hạng mục cần triển khai thêm thì lại tốn chi phí bảo trì
• Công nghệ cốt lõi
  • Template Engine: Có thể xử lý filter, transform, v.v. bằng template engine
  • Tách riêng máy chủ gọi API: Vì cần gửi số lượng webhook rất lớn, nên đã triển khai riêng bằng Go để có thể thực hiện các lệnh gọi API với chi phí thấp
• Kiến trúc toàn bộ hệ thống
  • Giao tiếp giữa các máy chủ sử dụng Kafka
  • Máy chủ cấu hình webhook chứa business logic được triển khai bằng Python
  • Máy chủ gọi API được triển khai bằng Go
  • Log gọi API được lưu lại vào Kafka, và dữ liệu lưu trong Kafka cũng được lưu vào S3 để có thể đọc lại dữ liệu về sau
• Những phần muốn tiếp tục cải thiện trong tương lai
  • Áp dụng Graviton Instance: nhằm mục đích cắt giảm chi phí
  • Migration sang ngôn ngữ mới: tương tự, cũng nhằm mục đích cắt giảm chi phí