CRoM v1.0.2 bộ công cụ mã nguồn mở - giảm tiêu thụ token · cải thiện tốc độ · ngăn hội thoại dài bị suy biến

Tôi xin giới thiệu phiên bản mới v1.0.2 của CRoM (Context Rot Mitigation for Efficient LLMs), công cụ do chính tôi tạo ra và liên tục cập nhật.

CRoM là một bộ công cụ Python giúp giảm thiểu vấn đề Context Rot (mờ dần chỉ dẫn, trôi dạt suy luận, mất trí nhớ) xuất hiện trong các prompt dài, từ đó giúp LLM sử dụng ngữ cảnh ổn định và hiệu quả hơn.

🔑 Tính năng chính:
▫️Budget Packer: nén ổn định chỉ những văn bản quan trọng trong phạm vi ngân sách token
▫️Hybrid Reranker: sắp xếp lại tài liệu dựa trên TF-IDF + dense embedding
▫️Drift Estimator: theo dõi thay đổi ngữ nghĩa giữa các phản hồi
▫️Observability: giám sát dựa trên metric Prometheus
▫️Mở rộng plugin: hỗ trợ FlashRank, LLMLingua, Evidently
▫️Benchmarking: đánh giá end-to-end và phân tích hiệu năng bằng CLI

📊 Trong bản v1.0.2 mới nhất, đã bao gồm sửa lỗi ImportError và SyntaxError, cải thiện tính nhất quán của quản lý phiên bản, bổ sung kiểm thử tích hợp (hơn 10 trường hợp), và xác minh hiệu năng trên hơn 1.000 tài liệu.

🔗 Liên kết
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️Câu chuyện phát triển: https://medium.com/p/ab356e656d88