Đây là một bài blog về việc tái triển khai BGE-M3, mô hình embedding chuyên dụng cho RAG giỏi tiếng Hàn nhất, vượt ra ngoài bản hiện thực Python do Huggingface cung cấp, bằng TensorFlow/Keras theo hình thức có thể phục vụ ở quy mô lớn trong môi trường doanh nghiệp.
- Hỗ trợ phục vụ cho doanh nghiệp
- Có thể xử lý phân tán quy mô lớn trong môi trường Hadoop-Spark dựa trên Java/Scala
- Xây dựng máy chủ hiệu năng cao bằng Kotlin/Spring Boot
- Hỗ trợ môi trường production quy mô lớn thông qua TensorFlow Serving
- Hỗ trợ môi trường di động/nhúng thông qua TensorFlow Lite
- Đơn giản hóa cấu trúc mô hình
- Triển khai cấu trúc cốt lõi chỉ với Dense Layer và LayerNorm
- Loại bỏ các phụ thuộc Python phức tạp
- Đảm bảo thông lượng cao với cấu trúc gọn nhẹ
- Đặc điểm triển khai
- Triển khai embedding Word/Position/Token Type bằng Dense Layer cơ bản
- Cấu thành 24 khối Transformer bằng các phép toán TensorFlow thuần
- Tự triển khai Multi-Head Self-Attention để tối ưu hiệu năng
- Các trường hợp ứng dụng thực tế
- Xử lý embedding phân tán trong môi trường Hadoop quy mô lớn
- Học liên kết và dịch vụ RAG dựa trên Spring Boot
- Suy luận trên di động tận dụng Apple Neural Engine
- Triển khai TensorFlow Serving cấp doanh nghiệp
Phương thức triển khai được giải thích trong bài có đặc trưng là loại bỏ sự phụ thuộc vào Python và chỉ tận dụng các tính năng native của TensorFlow, nhờ đó có thể vận hành dịch vụ ổn định trong môi trường doanh nghiệp quy mô lớn.
4 bình luận
https://github.com/sionic-ai/BGE-M3-Model-Converter
Chúng tôi đã công khai toàn bộ mã nguồn.
Bản thân bài viết không quá khó, nhưng các đoạn mã đính kèm trong phần giải thích hơi thiếu sót, nên sẽ tốt hơn nếu có chia sẻ toàn bộ mã được triển khai theo cách đó.
https://github.com/sionic-ai/BGE-M3-Model-Converter
Đã công khai toàn bộ mã nguồn.
Cảm ơn bạn
Chắc tôi phải xem lại từ từ thôi haha