Xây dựng sLLM chuyên biệt cho miền chính phủ — molit-gemma + RAG
Đây là một trường hợp xây dựng chatbot chuyên biệt theo miền triển khai on-premise trong môi trường bảo mật, nơi các cơ quan công không dễ sử dụng LLM bên ngoài như ChatGPT/Claude.
TL;DR
- Tinh chỉnh Google Gemma-3-1B bằng tài liệu chính sách của Bộ Đất đai, Hạ tầng và Giao thông →
molit-gemma - Giảm ảo giác bằng RAG dựa trên OpenSearch
- BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
- Triển khai hoàn toàn on-premise (0 API bên ngoài)
Vì sao là sLLM
- Trả lời dân nguyện trong chính phủ có nguy cơ rò rỉ dữ liệu khi gọi API bên ngoài
- Mô hình cỡ 70B gây gánh nặng hạ tầng GPU → bổ sung bằng mô hình 1B + RAG
- Fine-tuning chuyên biệt theo miền cho độ chính xác tốt hơn LLM tổng quát
Cấu trúc
Truy vấn người dùng → tìm kiếm OpenSearch → tài liệu chính sách Top-K → molit-gemma tạo câu trả lời → trích dẫn nguồn
Hàm ý
- Đưa ra một baseline thực chứng cho tổ hợp sLLM + RAG trong khu vực công
- Ngay cả mô hình 1B cũng có thể đạt mức thực dụng nếu giới hạn trong một miền cụ thể
- Giảm ảo giác + đảm bảo khả năng giải thích
Liên kết
- Bài báo (RISS): https://www.riss.kr/link?id=T17378943
- Mô hình (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
- Mã nguồn (GitHub): https://github.com/chohi22/Industrial-AI/…
Chưa có bình luận nào.