Bản triển khai TypeScript của LLMLingua-2

Dự án mã nguồn mở port LLMLingua, một "bộ nén prompt đa dụng dựa trên LLM" do Microsoft phát triển, từ Python sang TypeScript để có thể sử dụng trong nhiều môi trường đa dạng hơn.

LLMLingua là gì?

• GeekNews: "Microsoft LLMLingua - Nén prompt để tăng tốc suy luận và giảm chi phí"
• Trang chủ LLMLingua-2
• Hiện đang được phát hành dưới dạng bản triển khai chính thức bằng ngôn ngữ Python.

Bản triển khai TypeScript của LLMLingua-2

• Demo nén prompt (GitHub Pages)
  • JavaScript + React + Vite
  • Yêu cầu để trải nghiệm demo: cần trình duyệt hỗ trợ WebGPU (Google Chrome trên Windows/macOS, v.v.)
• Mã nguồn: có thể xem trên GitHub và HuggingFace
• Gói (npm): npm install @atjsh/llmlingua-2

Điểm nổi bật

• Port pipeline LLMLingua-2 vốn được viết bằng Python sang TypeScript thuần
• Các thư viện được dùng để triển khai: js-tiktoken, transformer.js và TensorFlow.js
• Hỗ trợ Node.js đang được phát triển thêm (có thể thử nghiệm ngay bây giờ)
• Mã nguồn mở theo giấy phép MIT

Vẫn đang ở giai đoạn rất sớm

• Một số tính năng như use_context_level_filter, return_word_label vẫn chưa được triển khai
• Ngay cả tính năng cốt lõi là nén prompt cũng có thể có những phần được triển khai sai so với LLMLingua-2 gốc...