Dự án AI Agent của Yuanta Securities: Hành trình phát triển dịch vụ LLM thực chiến (đầy gian nan)

1. Mở đầu: Từ khóa của ngành AI năm 2025 là Agent, nhấn mạnh sự cần thiết của những hệ thống tinh vi hơn, vượt ra khỏi cách tiếp cận chatbot truyền thống tập trung vào RAG.

2. Giới thiệu dự án (dịch vụ chatbot AI của Yuanta): Vượt qua rào cản gia nhập cao như các yêu cầu bảo mật tài chính để phát triển chatbot tích hợp chức năng phân tích đầu tư dựa trên AI, và đã được chọn là một dịch vụ tài chính đổi mới.

3. Xây dựng yêu cầu và ứng dụng phân loại ý định: Phân tích dữ liệu truy vấn thực tế của người dùng để điều chỉnh yêu cầu dịch vụ, đồng thời xây dựng hệ thống giám sát nhằm liên tục cải thiện LLM dựa trên Function Calling.

4. Kỹ thuật Function Calling: Đã sử dụng Function Calling như một phương thức xử lý dữ liệu thời gian thực để khắc phục giới hạn của RAG, nhưng phải vượt qua những khó khăn trong việc liên kết nhiều chức năng và gọi chính xác.

5. Prompt engineering và góc nhìn vận hành: Nhấn mạnh rằng việc tối ưu hiệu năng LLM thông qua thiết kế prompt và quản lý phiên bản, cùng chiến lược vận hành để giảm chi phí và tăng cường bảo mật, là điều thiết yếu.

[moderator]

Đã được chuyển vì không phù hợp với Show GN.
Vui lòng tham khảo cách sử dụng Show rồi đăng lại.