- Tạo ra thứ gì đó hay ho bằng LLM thì dễ, nhưng để đưa lên mức production thì rất khó
- Bài viết xem xét các thách thức chính cần giải quyết để sản phẩm hóa ứng dụng LLM, cách tích hợp nhiều tác vụ vào trong luồng điều khiển và cách sử dụng các công cụ, cùng những trường hợp ứng dụng đầy hứa hẹn
Phần I. Những thách thức khi đưa prompt engineering vào production
- Tính mơ hồ của ngôn ngữ tự nhiên
- Đánh giá prompt
- Phiên bản hóa prompt
- Tối ưu hóa prompt
- Chi phí và độ trễ
- Chi phí
- Độ trễ (Latency)
- Sự bất khả thi của việc phân tích chi phí + độ trễ đối với LLM
- Prompting vs. fine-tuning vs. các lựa chọn thay thế
- Prompt tuning
- Fine-tuning thông qua chưng cất (Distillation)
- Embedding + cơ sở dữ liệu vector
- Tương thích ngược/thuận
Phần 2. Khả năng cấu thành công việc (composability)
- Các ứng dụng được cấu thành từ nhiều tác vụ
- Agent, công cụ và luồng điều khiển
- Tool vs. plugin
- Luồng điều khiển: tuần tự, song song, if, vòng lặp for
- Luồng điều khiển của agent LLM
- Kiểm thử agent
Phần 3. Các trường hợp sử dụng đầy hứa hẹn
- Trợ lý AI
- Chatbot
- Lập trình và game
- Học tập
- Talk-to-your-data
- Liệu LLM có thể phân tích dữ liệu giúp tôi không?
- Tìm kiếm và gợi ý
- Bán hàng
- SEO
Kết luận
- Chúng ta vẫn đang ở giai đoạn đầu của ứng dụng LLM. Mọi thứ đang tiến hóa rất nhanh
- Gần đây tôi thấy đề xuất về các cuốn sách liên quan đến LLM, và suy nghĩ đầu tiên của tôi là phần lớn chúng sẽ lỗi thời chỉ trong vòng một tháng
- API đang thay đổi mỗi ngày, các ứng dụng mới đang được khám phá. Hạ tầng đang được tối ưu hóa một cách quyết liệt
- Phân tích chi phí và độ trễ cần được thực hiện theo từng tuần, và các thuật ngữ mới liên tục được đưa vào
- Không phải tất cả những thay đổi này đều quan trọng
- Rất nhiều bài báo về prompt engineering gợi nhớ đến thời kỳ đầu của deep learning, khi có hàng nghìn bài báo mô tả các phương pháp khác nhau để khởi tạo trọng số
- Các mẹo tinh chỉnh prompt về lâu dài sẽ không còn quan trọng
- Xét đến việc LLM cũng khá giỏi trong việc tự viết prompt, ai mà biết liệu có thực sự cần người chuyên chỉnh prompt hay không?
- Gần đây trên LinkedIn, mọi người hỏi cách cập nhật thông tin mới nhất về lĩnh vực này, và đã có nhiều ý kiến khác nhau
- Hãy bỏ qua (phần lớn) hype
- Chỉ đọc phần tóm tắt
- Hãy thử dùng mọi công cụ
- Chiến lược của bạn là gì?
1 bình luận
Bản dịch: https://docs.google.com/document/d/…