Tôi đã thử tạo một semantic model registry.

Xin chào. Đây là lần đầu tôi viết ở đây nên tay hơi run khi gõ những dòng này.

Mục đích

Dịch vụ này được tạo ra từ ý tưởng nảy ra sau khi đọc bài https://vi.news.hada.io/topic?id=26967 [ Data Engineering sau AI ].
Đây là một dịch vụ mà tôi muốn xây dựng để có thể import, export và search nhiều định dạng semantic model khác nhau, xoay quanh định dạng OSI.

Lý do tạo ra

Tôi nghĩ rằng hiện nay các cuộc thảo luận về semantic model đang ngày càng nhiều hơn. Trong quá trình đó, định dạng được nhiều công ty cùng thống nhất là OSI (Open Semantic Interchange), và gần đây phiên bản 1.0 đã được phát hành.

Liệu đây có thực sự trở thành tiêu chuẩn hay không thì vẫn còn chưa rõ, nhưng tôi đã làm nó với mong muốn giải quyết chuỗi cung ứng trước khi nhu cầu hình thành và đóng góp cho một dự án mang tính quốc tế. (Tuy vậy, về khía cạnh chia sẻ semantic asset, tôi vẫn tạm gác lại việc phán đoán xem liệu thực sự có nhu cầu cho điều này hay không.)

Tính năng

Các tính năng được phát triển thành ba mảng: Python SDK, CLI và web, và cả ba đều có cùng chức năng.

• Tôi muốn có thể import các semantic model hiện có như dbt metric flow để chuyển sang định dạng OSI, hoặc làm ngược lại cũng được.
  Tất nhiên, tôi cũng đang suy nghĩ về cách bù đắp phần ngữ cảnh bị thất lạc trong quá trình chuyển đổi.
• Ngoài ra, thay vì chỉ dừng ở tìm kiếm đơn thuần, tôi cũng dự định bổ sung các tính năng tiện ích để sau khi tìm kiếm có thể xem preview và kiểm tra dễ dàng các measure, dimension, v.v.
• Và khi semantic layer đã tồn tại trên GitHub được index, nếu tác giả gốc và tài khoản GitHub trùng nhau thì có chức năng claim để đưa nó về như một bản phát hành của chính mình.

Stack

Tôi đã dùng OpenSearch cho phần tìm kiếm, Terraform để quản lý hạ tầng, và FastAPI cho backend.

---

Rất mong nhận được sự ủng hộ của mọi người.