Xây dựng sLLM chuyên biệt cho miền chính phủ — chatbot RAG tinh chỉnh Gemma-3-1B bằng dữ liệu của Bộ Đất đai, Hạ tầng và Giao thông

Xây dựng sLLM chuyên biệt cho miền chính phủ — molit-gemma + RAG

Đây là một trường hợp xây dựng chatbot chuyên biệt theo miền triển khai on-premise trong môi trường bảo mật, nơi các cơ quan công không dễ sử dụng LLM bên ngoài như ChatGPT/Claude.

TL;DR

• Tinh chỉnh Google Gemma-3-1B bằng tài liệu chính sách của Bộ Đất đai, Hạ tầng và Giao thông → molit-gemma
• Giảm ảo giác bằng RAG dựa trên OpenSearch
• BLEU 0.6258, LLM-as-a-Judge 4.34/5.0
• Triển khai hoàn toàn on-premise (0 API bên ngoài)

Vì sao là sLLM

• Trả lời dân nguyện trong chính phủ có nguy cơ rò rỉ dữ liệu khi gọi API bên ngoài
• Mô hình cỡ 70B gây gánh nặng hạ tầng GPU → bổ sung bằng mô hình 1B + RAG
• Fine-tuning chuyên biệt theo miền cho độ chính xác tốt hơn LLM tổng quát

Cấu trúc

Truy vấn người dùng → tìm kiếm OpenSearch → tài liệu chính sách Top-K → molit-gemma tạo câu trả lời → trích dẫn nguồn

Hàm ý

• Đưa ra một baseline thực chứng cho tổ hợp sLLM + RAG trong khu vực công
• Ngay cả mô hình 1B cũng có thể đạt mức thực dụng nếu giới hạn trong một miền cụ thể
• Giảm ảo giác + đảm bảo khả năng giải thích

Liên kết

• Bài báo (RISS): https://www.riss.kr/link?id=T17378943
• Mô hình (Hugging Face): https://huggingface.co/chohi/gemma-molit-finetuned/blob/main/README.md
• Mã nguồn (GitHub): https://github.com/chohi22/Industrial-AI/…

[danke1]

Đọc rất thú vị, xin phép ghé qua.

[hosungseo2026]

Tuyệt vời

[jhk0530]

Xin chúc mừng luận văn học vị của bạn!