Phát triển và kiểm thử agent LLM cục bộ tại một nơi, từ tìm kiếm công cụ, HITL đến tích hợp MCP (demo MCP Thống kê Hàn Quốc)

Cổng Thống kê Quốc gia (KOSIS) đã mở dịch vụ thử nghiệm MCP chính thức, nên tôi đã gắn nó vào một mô hình cục bộ 9B chạy trên laptop. Không cần API key vẫn có thể tìm tổng tỷ suất sinh, vẽ biểu đồ, và ngay lúc định lưu thành CSV thì cửa sổ phê duyệt hiện ra. Đó là vì các tác vụ cần con người phê duyệt (HITL) như ghi tệp đã được thiết lập để con người kiểm tra và chấp thuận trong UI.

Video demo (1 phút 21 giây, phụ đề tiếng Hàn): https://youtu.be/zARRVLg-7xA?cc_load_policy=1&cc_lang_pref=ko

• Chỉ với một câu “Cho tôi xem tổng tỷ suất sinh”, hệ thống thực hiện tìm kiếm KOSIS → xác minh bảng thống kê → truy vấn dữ liệu thực → tạo biểu đồ area (2015: 1.20 → 2024: 0.73)
• Từ cùng bảng thống kê đó, so sánh 12 quốc gia bằng biểu đồ hoa hồng, và 8 quốc gia năm 2015 vs 2024 bằng heatmap
• Với yêu cầu “Hãy lưu phần tóm tắt thành CSV”, ghi tệp được xếp mức rủi ro L4 nên cửa sổ phê duyệt xuất hiện, và chỉ khi nhấn Approve thì mới thực sự lưu
• Vì mô hình chạy cục bộ nên prompt không đi ra bên ngoài. Số API key đã dùng là 0.

Dự án được dùng trong demo này là mã nguồn mở có tên Spring AI Playground (đang được Spring AI Community ươm tạo).

Ban đầu đây là playground để bấm thử từng tính năng của Spring AI, nhưng khi agent và MCP được đưa vào lõi framework trong Spring AI 2.0, dự án đã đổi hướng. Giờ đây nó gần giống một workbench để phát triển và kiểm thử agent LLM cục bộ hơn là một bản demo tính năng.

Thông thường, nếu muốn tự gắn agent vào, bạn phải tự triển khai bằng mã cho từng phần như kết nối MCP, tìm kiếm công cụ, cổng phê duyệt, v.v. Spring AI Playground tập trung vào việc cho phép kiểm tra luồng đó ngay trong ứng dụng desktop mà không cần viết mã Java. Thông qua tính năng MCP proxy, bạn cũng có thể cấu hình HITL trong UI cho các công cụ MCP hiện có.

Các công cụ cần thiết có thể được tìm kiếm và kết nối động theo yêu cầu (Dynamic Tool Discovery), và với các tác vụ rủi ro như ghi tệp, cửa sổ phê duyệt sẽ xuất hiện theo mức rủi ro (L0~L5). Bạn cũng có thể trực tiếp kiểm tra cách hệ thống xử lý phê duyệt và từ chối. Chat, lời gọi công cụ, token, chi phí và rủi ro đều có thể xem cùng nhau trong dashboard Observability.

Vì mô hình chạy cục bộ (Ollama) nên prompt không đi ra bên ngoài. Bạn cũng có thể xem trong mã cách agent, MCP client/server và HITL được triển khai bằng Java và Spring.

GitHub: https://github.com/spring-ai-community/spring-ai-playground
Tài liệu: https://spring-ai-community.github.io/spring-ai-playground/
Tải xuống (Windows/macOS/Linux): https://spring-ai-community.github.io/spring-ai-playground/…

KOSIS MCP là dịch vụ thử nghiệm của Cơ quan Dữ liệu Quốc gia nên endpoint có thể thay đổi. Dự án này là mã nguồn mở độc lập sử dụng dịch vụ đó.

Nếu bạn đã từng kết nối MCP dữ liệu công vào agent thực tế, hoặc có ý kiến về thiết kế HITL (Human-in-the-Loop), rất mong nhận được phản hồi.