1 điểm bởi jsb4702 7 giờ trước | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Làm việc trong một ngành mà mã linh kiện bịa đặt hay các phép tính sai nhưng không ai để ý có thể lọt thẳng vào bản vẽ, BOM và cả đơn đặt hàng,
nên tôi đã tạo ra một harness coi câu trả lời của LLM như tài liệu kiểu "không được xuất xưởng trước khi qua kiểm định" và đã dùng thực tế suốt vài tháng nay. Tôi công bố một bản snapshot tuyển chọn đã gỡ bỏ thông tin cá nhân và thông tin miền riêng.

  • 13 loại cổng kiểm chứng trước khi phát câu trả lời: chặn bịa đặt (cấm suy đoán sinh ra mã linh kiện·DOI),
    chạy lại phép tính số học bằng Bash, cô lập prompt injection, đối chiếu với đầu ra công cụ thực tế
    khi có tuyên bố "đã chạy", cùng các cổng ngăn tái diễn bằng cách cố định ca thất bại thành bộ regression goldset, v.v.
  • Gắn 3 mức độ tin cậy cho mọi số liệu cốt lõi, trích dẫn và tuyên bố quan hệ nhân quả — trích dẫn dựa trên
    ký ức nhiều nhất chỉ được mức vàng, mức xanh chỉ dành cho truy vấn thực tế
  • Các kết luận ở ngưỡng an toàn được suy diễn lại song song bằng các mô hình khác loại (Gemini·Groq·OpenAI CLI) rồi
    đánh giá mức hội tụ — dựa trên giả định rằng tự kiểm tra bằng cùng một mô hình sẽ chia sẻ cùng điểm mù
  • Pipeline INTAKE chuỗi cung ứng chỉ cho phép đưa vào skill/plugin bên ngoài sau khi cô lập → quét tĩnh → con người đọc kỹ → rebuild
    (coi cả chỉ thị ngôn ngữ tự nhiên là mối đe dọa ngang với mã)
  • Trình kiểm tra mới được chạy ở shadow mode để đo tỷ lệ dương tính giả trước khi thăng cấp; các tuyên bố đã được kiểm chứng được nạp vào sổ cái để
    tự động đối chiếu mâu thuẫn

Các hook cổng và trình kiểm tra là mã Python thực sự đang chạy, kèm cả regression test.
Clone về là chạy được ngay không cần thêm dependency:
python3 eval/tests/test_g9_regression.py --hook hooks/g9_arith_enforce.py
python3 hooks/tests/test_glossary_hook.py
Chỉ cần nối các hook bằng settings.example.json là các cổng sẽ hoạt động trong môi trường của bạn.
Đây không phải bản phân phối để triển khai nguyên khối, mà là cấu trúc cho phép chọn và gắn theo từng hook·trình kiểm tra.
Phần lớn tài liệu là tiếng Hàn, còn kiến trúc và README là tiếng Anh.

Chưa có bình luận nào.

Chưa có bình luận nào.