oh-my-free-models - proxy cục bộ định tuyến coding agent tới mô hình miễn phí nhanh nhất hiện tại

oh-my-free-models (omfm) là một proxy cục bộ định tuyến coding agent tới mô hình nhanh nhất ở thời điểm hiện tại trong số nhiều provider miễn phí. Chỉ cần đổi baseURL của agent tương thích OpenAI hoặc Anthropic sang localhost và chọn sẵn vài mô hình miễn phí, omfm sẽ tiếp tục chuyển tiếp các request ngay cả khi latency·rate-limit·quota dao động.

Vì sao cần nó

Các coding agent ở free tier trông vẫn ổn trên bảng thông số, nhưng khi chạy thực tế thì thường bị chặn ở bốn điểm.

• Rate limit cắt ngang giữa chừng khi đang làm việc. Các mô hình miễn phí của OpenRouter hay NVIDIA có thể trả về 429 mà không báo trước. Một lượt chạy đang hoạt động bình thường có thể dừng lại chỉ vì một lần gọi tool, và người dùng phải tự thử lại thủ công.

• Latency dao động theo từng khung giờ. Cùng một mô hình miễn phí có thể nhanh vào buổi sáng nhưng chậm đến mức gần như không dùng được vào buổi chiều. Vì điều này khác nhau theo thời gian và khu vực, bạn không thể chốt trước một "mô hình nhanh". Chỉ có "mô hình đang nhanh ngay lúc này" mà thôi.

• Khi quota cạn, bạn phải tự tay đổi provider. Nếu free quota của một provider hết, bạn phải tự đổi key và baseURL. Cấu hình agent không thể tự bắt kịp sự thay đổi đó.

• Danh mục miễn phí thay đổi thường xuyên. Mô hình mới xuất hiện, biến mất, bị gắn nhãn deprecated, hoặc âm thầm bắt đầu trả lỗi. Dashboard không báo cho bạn; chỉ khi đâm đầu vào tường bạn mới biết.

Tính năng chính

• Định tuyến request tới live model có latency thấp nhất hiện tại trong pool mô hình miễn phí đã chọn
• Các mô hình gặp lỗi rate limit·quota như 429/402 sẽ bị đưa vào cooldown khoảng 10 phút
• Cung cấp endpoint tương thích OpenAI /v1 và Anthropic /anthropic
• Có thể dùng với các client tương thích OpenAI như OpenClaw, Hermes Agent, OpenCode dưới dạng url=http://localhost:4567/v1, model=omfm
• Trong Claude Code, có thể đổi Anthropic base URL thành http://localhost:4567/anthropic để sử dụng
• Có thể tách pool mô hình theo mục đích sử dụng với các nhóm omfm/fast, omfm/balanced, omfm/capable
• Cung cấp CLI như omfm model, omfm start, omfm status, omfm doctor, omfm usage

Đặc biệt hữu ích với các local/CLI coding agent nhận endpoint tương thích OpenAI như OpenClaw hay Hermes Agent. Giữ nguyên cấu hình agent, chỉ cần đổi base URL và model sang omfm là ở phía sau việc đo latency của các mô hình miễn phí, loại trừ mô hình lỗi và chuyển đổi provider sẽ được tự động xử lý.

[channprj]

Dự án này thú vị thật. Tự nhiên tôi nhớ đến 9router, nhưng có vẻ nó chuyên biệt hơn cho các free models nên thấy khá hấp dẫn. Cảm ơn vì sản phẩm tuyệt vời này.

https://9router.com

[happyhaki]

Ồ, có thứ như thế này à. Cảm ơn vì đã chia sẻ. Tôi đã nghĩ đến LiteLLM, nhưng có vẻ như ngay khi đưa nhà cung cấp trả phí vào omfm thì cũng không khác gì, nên tôi muốn chỉ giữ lại các mô hình miễn phí.