Stack AI Engineering
1. Cấu trúc 3 tầng của stack AI Engineering: mọi dịch vụ AI đều được xây dựng dựa trên ba tầng cốt lõi.
1.1 Phát triển ứng dụng (Application Development)
- Với việc tận dụng foundation model, bất kỳ ai cũng có thể nhanh chóng phát triển ứng dụng AI.
- Khả năng khác biệt hóa dịch vụ phụ thuộc vào thiết kế prompt, UI/UX người dùng và hệ thống đánh giá.
- Khi nhiều nhóm sử dụng các mô hình tương tự nhau hơn, giao diện thân thiện với người dùng và công cụ tự động hóa đánh giá trở nên quan trọng.
1.2 Phát triển mô hình (Model Development)
- Chuyên môn hóa vào các lĩnh vực như fine-tuning, inference optimization và dataset engineering.
- Việc sử dụng và tùy biến các mô hình quy mô lớn ngày càng phổ biến, cùng với sự xuất hiện của nhiều mô hình LLM và multimodal mã nguồn mở.
- Độ tin cậy và chất lượng là cốt lõi (ví dụ: đánh giá phản hồi mở, quản lý chất lượng nhãn).
1.3 Hạ tầng (Infrastructure)
- Triển khai mô hình, vận hành cụm GPU quy mô lớn, mở rộng dịch vụ, giám sát và ứng phó sự cố.
- Tốc độ đổi mới của hạ tầng tương đối chậm hơn, nhưng có ảnh hưởng rất lớn đến quản lý hiệu năng và chi phí.
2. AI Engineering vs ML Engineering: thay đổi mang tính bản chất
2.1 Cách thức sử dụng mô hình
- ML truyền thống: tự huấn luyện mô hình (Machine Learning from scratch).
- AI hiện đại: gọi và tận dụng các mô hình lớn đã được tiền huấn luyện (using pre-trained models) đang trở thành xu hướng chủ đạo.
- Xu hướng cho thấy đánh giá (Evaluation) đang trở nên quan trọng hơn cả phát triển mô hình, đặc biệt khi xử lý các kết quả mở.
2.2 Thay đổi về tài nguyên và kỹ năng kỹ thuật
- Năng lực vận hành cụm GPU từ hàng trăm đến hàng nghìn máy (Scalable GPU infrastructure).
- Khi đưa vào sản phẩm thực tế, cần quản lý dữ liệu khối lượng lớn và vận hành tài nguyên với hiệu suất cao.
2.3 Đổi mới trong đánh giá (Evaluation)
- Đánh giá dạng đáp án ngắn (closed-ended) → đòi hỏi năng lực xử lý các kết quả mở (open-ended output).
- Việc phát triển các hệ thống đánh giá tự động và bán tự động (Auto evaluation system) đang diễn ra sôi động.
3. Tùy biến mô hình: prompt vs fine-tuning
3.1 Dựa trên prompt (Prompt-based)
- Thay đổi hành vi bằng thiết kế prompt (Prompt Engineering) và quản lý ngữ cảnh (không thay đổi tham số bên trong mô hình).
- Cần ít dữ liệu hơn. Thử nghiệm nhanh, chi phí thấp.
- Hạn chế: hiệu năng suy giảm với các tác vụ khó hoặc khi độ phức tạp tăng cao.
3.2 Fine-tuning
- Thay đổi trực tiếp trọng số mô hình, cần lượng dữ liệu lớn, phù hợp với các yêu cầu hiệu năng cao.
- Chi phí/thời gian tăng, nhưng về dài hạn có thể cải thiện đồng thời chất lượng dịch vụ, tốc độ và chi phí.
4. Phân tách chi tiết khái niệm "huấn luyện"
- Tiền huấn luyện (Pre-training): xây dựng ban đầu các foundation model lớn, chỉ một số ít doanh nghiệp/tổ chức siêu lớn mới thực hiện.
- Fine-tuning: dựa trên trọng số của mô hình hiện có để huấn luyện tùy biến theo bài toán cụ thể hoặc dữ liệu khách hàng.
- Hậu huấn luyện (Post-training): thuật ngữ thường bị dùng lẫn lộn, nhưng trong thực tế bao gồm cả fine-tuning lẫn cập nhật liên tục.
5. Dataset engineering: sự thay đổi vị thế của dữ liệu
- Chuyển sang tập trung chủ yếu vào dữ liệu phi cấu trúc (unstructured) như văn bản, hình ảnh, multimodal, v.v.
- Độ khó gán nhãn tăng lên: rất cần kinh nghiệm để ứng phó với các kết quả mở khó dự đoán.
- Bản chất khác biệt hóa dịch vụ đang chuyển sang dữ liệu: sở hữu dataset chất lượng cao đồng nghĩa với năng lực cạnh tranh.
- Tầm quan trọng của chất lượng dữ liệu, đạo đức và quyền riêng tư (Privacy/Ethics) cũng ngày càng nổi bật.
6. Xu hướng phát triển ứng dụng AI
- Khi nhiều tổ chức cùng sử dụng một mô hình giống nhau (foundation model),
- prompt engineering (thiết kế đầu vào),
- giao diện sản phẩm (UI/UX, chatbot, tiện ích mở rộng web, v.v.),
- thiết kế vòng phản hồi người dùng trở thành cốt lõi.
- Việc triển khai các dịch vụ AI nhẹ trên edge, mobile, v.v. đang mở ra cơ hội mới.
Thay đổi trong cách tiếp cận phát triển:
- Trước đây: thiết kế dữ liệu/mô hình → sản phẩm hóa về sau
- Hiện nay: prototype sản phẩm nhanh → nếu cần mới đầu tư vào dữ liệu/mô hình (Product first, Model/Data later)
7. AI vs Full-stack Engineering: ranh giới đang bị xóa nhòa
- Vai trò của lập trình viên frontend, phát triển full-stack web/mobile đang được mở rộng.
- Năng lực kết hợp AI với giao diện chính là lợi thế cạnh tranh.
- Trong thời đại foundation model + plugin, có thể ra mắt dịch vụ AI dễ dàng mà không cần backend phức tạp.
- Mô hình sử dụng: prototype nhanh → phản hồi người dùng → cải tiến lặp lại.
8. Kết luận và triển vọng tương lai
- AI Engineering vừa tiếp nối ML Engineering truyền thống, vừa đòi hỏi khả năng mở rộng và đổi mới chưa từng có.
- Foundation model và hệ sinh thái AI mã nguồn mở là trung tâm của sự thay đổi.
- Trong thời đại quá tải thông tin, nhu cầu xây dựng framework rõ ràng và best practice ngày càng tăng.
[Tham khảo và tóm tắt]
- Bản gốc: Chip Huyen, 『AI Engineering』
Chưa có bình luận nào.