GoModel - Cổng AI hiệu năng cao được viết bằng Go

xguru · 2026-04-30T09:31:02+09:00

Cổng AI nhẹ tương tự LiteLLM; là một binary Go duy nhất nên image container nhẹ và khởi động nguội nhanh Hợp nhất 11 nhà cung cấp như OpenAI, Anthropic, Gemini, Groq, xAI vào một API tương thích OpenAI duy nhất Chỉ cần truyền API key qua biến môi trường vào một container Docker là có thể dùng ngay nhờ tự động phát hiện nhà cung cấp Hỗ trợ toàn bộ endpoint của OpenAI API như /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches Cũng cung cấp /p/{provider}/... cho native API passthrough, chuyển tiếp nguyên trạng phản hồi từ upstream (có thể dùng ngay cả các tính năng gateway chưa hỗ trợ) Tích hợp sẵn bộ nhớ đệm phản hồi 2 tầng Layer 1: cache khớp chính xác dựa trên hash của phần thân yêu cầu (tra cứu dưới mili giây) Layer 2: semantic cache dựa trên tìm kiếm KNN trên vector embedding (tỷ lệ trúng 60~70% với workload lặp lại cao) Hỗ trợ Qdrant, pgvector, Pinecone, Weaviate làm vector backend Tích hợp sẵn UI dashboard quản trị để xem mức dùng token, theo dõi chi phí, audit log, trạng thái nhà cung cấp, model override, v.v. Tích hợp sẵn các tính năng observability như Prometheus metrics, audit logging, guardrail pipeline (mỗi tính năng có thể bật bằng biến môi trường) Xác thực API bằng GOMODEL_MASTER_KEY; có thể chọn SQLite, PostgreSQL hoặc MongoDB làm storage backend Cũng hỗ trợ đăng ký nhiều instance của cùng một nhà cung cấp bằng biến môi trường có hậu tố (ví dụ: OPENAI_EAST_API_KEY) Có thể chọn SQLite (mặc định), PostgreSQL hoặc MongoDB làm storage backend, nên quy mô nhỏ có thể dùng ngay sau khi cài đặt, còn quy mô lớn chỉ cần thay DB để mở rộng Lộ trình 0.2.0: dự kiến có intelligent routing, bổ sung DeepSeek V3·Cohere, quản lý ngân sách theo user_path, cluster mode, v.v. Giấy phép MIT

(github.com/ENTERPILOT)

8 điểm bởi xguru 2026-04-30 | 1 bình luận | Chia sẻ qua WhatsApp

Cổng AI nhẹ tương tự LiteLLM; là một binary Go duy nhất nên image container nhẹ và khởi động nguội nhanh
Hợp nhất 11 nhà cung cấp như OpenAI, Anthropic, Gemini, Groq, xAI vào một API tương thích OpenAI duy nhất
Chỉ cần truyền API key qua biến môi trường vào một container Docker là có thể dùng ngay nhờ tự động phát hiện nhà cung cấp
Hỗ trợ toàn bộ endpoint của OpenAI API như /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches
Cũng cung cấp /p/{provider}/... cho native API passthrough, chuyển tiếp nguyên trạng phản hồi từ upstream (có thể dùng ngay cả các tính năng gateway chưa hỗ trợ)
Tích hợp sẵn bộ nhớ đệm phản hồi 2 tầng
- Layer 1: cache khớp chính xác dựa trên hash của phần thân yêu cầu (tra cứu dưới mili giây)
- Layer 2: semantic cache dựa trên tìm kiếm KNN trên vector embedding (tỷ lệ trúng 60~70% với workload lặp lại cao)
- Hỗ trợ Qdrant, pgvector, Pinecone, Weaviate làm vector backend
Tích hợp sẵn UI dashboard quản trị để xem mức dùng token, theo dõi chi phí, audit log, trạng thái nhà cung cấp, model override, v.v.
Tích hợp sẵn các tính năng observability như Prometheus metrics, audit logging, guardrail pipeline (mỗi tính năng có thể bật bằng biến môi trường)
Xác thực API bằng GOMODEL_MASTER_KEY; có thể chọn SQLite, PostgreSQL hoặc MongoDB làm storage backend
Cũng hỗ trợ đăng ký nhiều instance của cùng một nhà cung cấp bằng biến môi trường có hậu tố (ví dụ: OPENAI_EAST_API_KEY)
Có thể chọn SQLite (mặc định), PostgreSQL hoặc MongoDB làm storage backend, nên quy mô nhỏ có thể dùng ngay sau khi cài đặt, còn quy mô lớn chỉ cần thay DB để mở rộng
Lộ trình 0.2.0: dự kiến có intelligent routing, bổ sung DeepSeek V3·Cohere, quản lý ngân sách theo user_path, cluster mode, v.v.
Giấy phép MIT

1 bình luận

xguru 2026-04-30

Có vẻ đây là một lựa chọn thay thế gọn nhẹ đáng để các công ty đang muốn triển khai LiteLLM cân nhắc thử.

Vì LiteLLM dựa trên Python từng một lần bị tấn công chuỗi cung ứng trước đây, nên cũng có cảm giác rằng Go tương đối an toàn hơn.

GoModel - Cổng AI hiệu năng cao được viết bằng Go

Bài viết liên quan

1 bình luận