Hiểu ModernBERT từ nền tảng thông qua TDD

ModernBERT là mô hình embedding/reranker tổng hợp các bài báo và kỹ thuật mới nhất, đồng thời đang được sử dụng như một mô hình cốt lõi trong nhiều pipeline xử lý ngôn ngữ tự nhiên như RAG. Tuy nhiên, cấu trúc bên trong của nó khá phức tạp, nên có nhiều phần khó hiểu nếu chỉ nhìn vào mã mô hình.

Mã nguồn mở của Sionic AI chúng tôi là một dự án được xây dựng để có thể học ModernBERT theo từng bước dựa trên unit test. Đặc biệt, dự án còn chứa quá trình trực tiếp chuyển đổi mô hình được viết bằng PyTorch sang TensorFlow, giúp bạn hiểu rõ vai trò của từng layer và hàm thông qua các kịch bản kiểm thử.

Ngoài ra, sau khi được chuyển đổi sang TensorFlow, mô hình còn có ưu điểm là có thể được phục vụ dễ dàng trong hệ sinh thái Spring/JVM. Vì không bị giới hạn trong môi trường Python và cho phép sử dụng ModernBERT cả trong các hệ thống quy mô lớn dựa trên Java/Kotlin, nên tôi nghĩ dự án này sẽ đặc biệt hữu ích với những ai đang xây dựng dịch vụ deep learning trong môi trường doanh nghiệp!