Grab tăng tốc phát triển ứng dụng LLM với LLM-Kit

• LLM-Kit của Grab là một framework được thiết kế để tăng tốc việc thiết lập các ứng dụng Generative AI ở cấp độ production
• Khi phát triển các ứng dụng AI xử lý dữ liệu nhạy cảm, bảo mật và an toàn dữ liệu là cực kỳ quan trọng; LLM-Kit giải quyết các vấn đề như khả năng mở rộng, tích hợp, giám sát và tiêu chuẩn hóa
• Nhờ đó, công cụ này giúp việc phát triển ứng dụng LLM hiệu quả hơn trong dài hạn, đồng thời hỗ trợ Grab onboarding hàng trăm ứng dụng GenAI

Các đặc điểm của LLM-Kit

• Cung cấp cấu trúc được cấu hình sẵn (máy chủ API, quản lý cấu hình, mẫu tác tử LLM, kiểm thử, v.v.)
• Tích hợp với Poetry, Gunicorn, FastAPI, LangChain, LangSmith, Hashicorp Vault, Amazon EKS, Gitlab CI, v.v.
• Tính năng observability cho phép giám sát theo thời gian thực thông qua tích hợp Datadog và LangSmith
• Quản lý cấu hình và secret bằng configparser của Python và Vault
• Trình hỗ trợ xác thực OpenID Connect (OIDC)
• Tài liệu hóa API bằng Swagger và Redoc
• Tích hợp với Redis và Vector DB
• Pipeline triển khai cho môi trường staging và production
• Tích hợp framework đánh giá mạnh mẽ của LangSmith
• Cookbook: cung cấp tài nguyên cho nhà phát triển bằng cách tập hợp các ví dụ được Grab sử dụng thường xuyên
  • Bao gồm nhiều trường hợp như tác tử bộ nhớ bền vững, tác tử LLM cho Slackbot, trình phân tích hình ảnh, chatbot full-stack có giao diện người dùng, v.v.

Giá trị của LLM-Kit

• Tăng tốc phát triển ứng dụng LLM nhờ stack công nghệ được cấu hình sẵn và tích hợp sẵn
• Có thể giám sát theo thời gian thực và phát hiện/giải quyết sự cố nhờ tích hợp LangSmith và Datadog
• Nâng cao bảo mật với xác thực OIDC và quản lý secret bằng Vault
• Cải thiện hiệu quả lưu trữ/tìm kiếm dữ liệu bằng Vector DB
• Cung cấp một framework “paved road” nhằm thúc đẩy best practice và tiêu chuẩn hóa
• Nhóm có thể tiết kiệm khoảng 1,5 tuần thời gian phát triển trước khi bắt tay vào tính năng đầu tiên

Thiết kế kiến trúc và triển khai kỹ thuật

• Kiến trúc mô-đun mang lại khả năng mở rộng, tính linh hoạt và tính dễ sử dụng

Tự động hóa

1. Khi kỹ sư gửi các thông tin liên quan như tên ứng dụng, việc tạo dự án GitLab sẽ được kích hoạt
2. Mã scaffold được thiết kế riêng cho ứng dụng LLM sẽ được tạo ra
3. Tệp GitLab CI cho CI/CD cũng được tạo trong cùng repository
4. Hạ tầng staging như ECR, EKS, v.v. sẽ được tạo
5. Thư mục Terraform cho provisioning hạ tầng sẽ được tạo và dẫn tới việc triển khai hạ tầng production
6. Ở cuối pipeline, token GPT sẽ được đẩy vào đường dẫn Vault bảo mật và thông báo hoàn tất sẽ được gửi cho kỹ sư

Cấu trúc mã scaffold

1. Agents: chứa mã khởi tạo tác tử dựa trên framework tác tử LangChain
2. Auth: mô-đun xác thực và phân quyền để thực thi một số API nội bộ của Grab
3. Core: bao gồm trích xuất cấu hình (như token GPT) và giải mã secret để chạy ứng dụng LLM
4. Models: định nghĩa cấu trúc cho API LLM cốt lõi trong Grab
5. Routes: định nghĩa các endpoint REST API cho ứng dụng LLM (bao gồm kiểm tra trạng thái, xác thực, phân quyền, tác tử đơn giản, v.v.)
6. Storage: bao gồm kết nối với PGVector, Vector DB được Grab quản lý, cùng schema cơ sở dữ liệu
7. Tools: các chức năng được dùng làm công cụ cho tác tử LLM
8. Tracing: tích hợp với các công cụ tracing và monitoring để theo dõi nhiều metric khác nhau của ứng dụng production
9. Utils: thư mục cơ bản cho các chức năng tiện ích

Provisioning hạ tầng và triển khai

• Tích hợp một pipeline toàn diện tự động scaffold mã cần thiết cho provisioning hạ tầng, triển khai và quy trình build ngay trong cùng codebase
• Sử dụng Terraform để provisioning hạ tầng cần thiết một cách liền mạch
• Pipeline triển khai được định nghĩa trong tệp .gitlab-ci.yml để bảo đảm triển khai tự động
• Quy trình build được chỉ định trong Dockerfile, cho phép build nhất quán
• Việc scaffolding tự động giúp nhà phát triển tập trung viết business logic thay vì xử lý độ phức tạp của hạ tầng và triển khai cơ bản

Scaffolding cho RAG

• Với LLM-Kit, quá trình thiết lập Vector DB (PGVector) và thêm vào danh sách cho phép dịch vụ được đơn giản hóa
• Sau khi gửi biểu mẫu, có thể truy cập thông tin xác thực và đường dẫn host DB
• Secret sẽ được tự động thêm vào đường dẫn Vault
• Kỹ sư chỉ cần đưa đường dẫn host DB vào tệp cấu hình của ứng dụng LLM-Kit đã được scaffold

Kết luận

• LLM-Kit là công cụ quan trọng hỗ trợ đổi mới và tăng trưởng AI/ML của Grab
• Bằng cách giải quyết những thách thức mà các nhóm đang đối mặt và cung cấp một framework phát triển ứng dụng LLM toàn diện, có thể mở rộng và linh hoạt, LLM-Kit đang dẫn dắt quá trình phát triển thế hệ ứng dụng AI tiếp theo tại Grab

Tăng trưởng và kế hoạch tương lai

• Có kế hoạch cung cấp SDK ổn định và dễ dùng, đồng thời cải thiện đáng kể khả năng đồng thời và khả năng mở rộng của web server
• Dự kiến cung cấp SDK LLM có thể tái sử dụng và kết hợp linh hoạt, bao gồm framework đánh giá và guardrail
• Phát triển CLI cho cập nhật phiên bản và công cụ phát triển
• Phát triển tính năng cung cấp tác tử dựa trên polling
• Thông qua những tiến bộ này, Grab muốn mang đến cho kỹ sư trải nghiệm phát triển mượt mà và hiệu quả hơn nữa