Distill - Máy chủ API phân tích LLM + web scraping viết bằng Rust

Đây là máy chủ API Rust dùng để scrape trang web và trích xuất dữ liệu có cấu trúc bằng LLM.

Các tính năng chính:

• Hỗ trợ render JavaScript dựa trên Headless Chrome
• Tích hợp Gemini API để phân tích ngay kết quả scraping
• Phản hồi có cấu trúc dựa trên JSON Schema
• Xử lý đồng thời 50 yêu cầu bằng tab pooling
• Tích hợp sẵn các tính năng bảo mật như ngăn chặn SSRF, so sánh API key theo thời gian hằng

Ví dụ sử dụng:
Gửi URL và prompt phân tích tới POST /scrape,
máy chủ sẽ trả về nội dung trang và kết quả phân tích LLM dưới dạng JSON.

Dự án này được tạo ra như một lựa chọn tự host thay thế cho các dịch vụ như JinaAI, Firecrawl.
Nếu chỉ cần scraping thì cũng có thể sử dụng mà không cần LLM.

• GitHub: https://github.com/lee-lou2/distill