Phát hành Llama Stack 0.21 - hỗ trợ Llama 4

(github.com/meta-llama)

5 điểm bởi xguru 2025-04-10 | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Llama Stack của Meta là một framework chuẩn hóa các thành phần cốt lõi cho ứng dụng AI tạo sinh
Cung cấp một lớp API thống nhất dựa trên các implementation từ nhiều nhà cung cấp dịch vụ khác nhau
Đảm bảo tính nhất quán trong trải nghiệm lập trình viên khi chuyển từ môi trường phát triển sang môi trường production
Các thành phần chính:
- API hợp nhất cho suy luận, RAG, agent, tool, an toàn (Safety), đánh giá (Evals), telemetry v.v.
- Hỗ trợ nhiều môi trường khác nhau (local, on-premise, cloud, mobile) bằng kiến trúc plugin
- Có thể bắt đầu nhanh và ổn định thông qua các distribution đã được kiểm chứng
- Cung cấp nhiều giao diện cho lập trình viên như CLI và SDK (Python, Node.js, iOS, Android)
- Cung cấp các ví dụ ứng dụng ở cấp độ production

Cách Llama Stack hoạt động

Llama Stack bao gồm server + client SDK
- Server có thể được triển khai trong nhiều môi trường như local, on-premise, cloud
- Client SDK hỗ trợ Python, Swift, Node.js, Kotlin v.v.

Danh sách client SDK

Các implementation Llama Stack được hỗ trợ

Inference API

Hỗ trợ các nhà cung cấp suy luận trên nhiều môi trường hosting/local khác nhau
- Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini v.v.

Vector IO API

Cung cấp giao diện vector store
Các implementation được hỗ trợ:
- FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate v.v.

Safety API

Đảm bảo an toàn cho phản hồi AI như kiểm tra prompt và mã nguồn
Các implementation được hỗ trợ:
- Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock v.v.

Tài nguyên phát triển

Nếu muốn bắt đầu nhanh: Quick Start
Nếu muốn đóng góp: Contributing

Llama Stack là một framework đa dụng được thiết kế để giúp các lập trình viên dễ dàng tích hợp và triển khai nhiều công nghệ AI khác nhau, đồng thời hỗ trợ rộng rãi nhiều môi trường và ngôn ngữ