Hướng dẫn thực tiễn của OpenAI để xây dựng agent

• Khi khả năng suy luận, đa phương thức và sử dụng công cụ của LLM được cải thiện, một danh mục hệ thống mới là agent đã xuất hiện — có thể tự chủ thực hiện workflow thay cho người dùng
• Agent gồm ba thành phần cốt lõi: mô hình (LLM), công cụ (API/hàm bên ngoài) và chỉ dẫn (guideline), có thể được điều phối theo hệ thống một agent hoặc nhiều agent
• Việc áp dụng agent phù hợp với các workflow cần ra quyết định phức tạp, hệ thống luật khó bảo trì, và xử lý dữ liệu phi cấu trúc
• Guardrail là cơ chế phòng vệ nhiều lớp giúp bảo vệ quyền riêng tư dữ liệu, an toàn nội dung và tính nhất quán thương hiệu, là yếu tố thiết yếu khi triển khai agent
• Cách tiếp cận lặp lại bắt đầu từ một agent duy nhất rồi mở rộng dần thông qua xác thực với người dùng thực là chìa khóa để triển khai thành công

---

Định nghĩa về agent

• Agent là hệ thống tự chủ thực hiện công việc thay cho người dùng, xử lý các workflow như giải quyết vấn đề dịch vụ khách hàng, đặt bàn nhà hàng, commit thay đổi mã nguồn hoặc tạo báo cáo
• Những ứng dụng có tích hợp LLM nhưng không kiểm soát việc thực thi workflow — như chatbot đơn giản, LLM một lượt hay bộ phân loại cảm xúc — không phải là agent
• Các đặc tính cốt lõi của agent:
  • Sử dụng LLM để quản lý việc thực thi workflow và ra quyết định, nhận biết thời điểm workflow hoàn tất, đồng thời chủ động điều chỉnh hành vi khi cần
  • Dừng thực thi khi thất bại và trả lại quyền kiểm soát cho người dùng
  • Có thể truy cập nhiều công cụ để tương tác với các hệ thống bên ngoài, chọn công cụ phù hợp một cách động theo trạng thái hiện tại của workflow, nhưng hoạt động trong các guardrail rõ ràng

Khi nào nên xây dựng agent

• Khác với tự động hóa truyền thống, agent phù hợp với các workflow mà cách tiếp cận quyết định luận, dựa trên luật truyền thống bắt đầu chạm tới giới hạn
• Ví dụ phân tích gian lận thanh toán: công cụ luật truyền thống hoạt động như một danh sách kiểm tra để gắn cờ giao dịch theo tiêu chí định sẵn, trong khi agent LLM đóng vai trò điều tra viên lành nghề, đánh giá ngữ cảnh, xem xét các mẫu tinh vi và phát hiện hoạt động đáng ngờ ngay cả khi không có vi phạm luật rõ ràng
• Ba loại tình huống mà việc áp dụng agent mang lại giá trị:
  • Ra quyết định phức tạp: workflow đòi hỏi phán đoán tinh tế, ngoại lệ và quyết định nhạy theo ngữ cảnh (ví dụ: phê duyệt hoàn tiền trong dịch vụ khách hàng)
  • Các luật khó bảo trì: hệ thống có tập luật lớn và phức tạp, khiến việc cập nhật tốn kém hoặc dễ phát sinh lỗi (ví dụ: rà soát bảo mật nhà cung cấp)
  • Kịch bản phụ thuộc nhiều vào dữ liệu phi cấu trúc: diễn giải ngôn ngữ tự nhiên, trích xuất ý nghĩa từ tài liệu, tương tác hội thoại với người dùng (ví dụ: xử lý yêu cầu bồi thường bảo hiểm nhà ở)
• Nếu không đáp ứng rõ ràng các tiêu chí này, một giải pháp quyết định luận có thể đã đủ

Nền tảng thiết kế agent

• Ba thành phần cốt lõi

  • Mô hình (Model): LLM vận hành khả năng suy luận và ra quyết định của agent
  • Công cụ (Tools): các hàm bên ngoài hoặc API mà agent dùng để hành động
  • Chỉ dẫn (Instructions): các guideline và guardrail tường minh xác định cách agent hành xử

• Chọn mô hình

  • Không phải tác vụ nào cũng cần mô hình mạnh nhất — các tác vụ đơn giản như tìm kiếm hoặc phân loại ý định có thể dùng mô hình nhỏ và nhanh, còn các tác vụ khó như quyết định phê duyệt hoàn tiền sẽ phù hợp hơn với mô hình mạnh hơn
  • Một cách tiếp cận hiệu quả là thiết lập baseline hiệu năng bằng mô hình mạnh nhất ở giai đoạn prototype, rồi thay dần bằng các mô hình nhỏ hơn để xem kết quả có còn chấp nhận được không
  • Nguyên tắc chọn mô hình:
    • Thiết lập eval để xác lập baseline hiệu năng
    • Tập trung đạt mục tiêu độ chính xác với mô hình tốt nhất
    • Thay bằng mô hình nhỏ hơn ở nơi có thể để tối ưu chi phí và độ trễ

• Định nghĩa công cụ

  • Công cụ mở rộng năng lực của agent bằng cách sử dụng API của ứng dụng hoặc hệ thống nền tảng
  • Với hệ thống legacy không có API, có thể dùng computer-use model để tương tác trực tiếp qua web và UI ứng dụng
  • Mỗi công cụ nên có định nghĩa chuẩn hóa, hỗ trợ quan hệ nhiều-nhiều linh hoạt giữa công cụ và agent
  • Các công cụ tái sử dụng, được tài liệu hóa tốt và kiểm thử kỹ lưỡng giúp tăng khả năng khám phá, đơn giản hóa quản lý phiên bản và tránh định nghĩa trùng lặp
  • Ba loại công cụ mà agent cần:
    • Dữ liệu (Data): truy xuất ngữ cảnh và thông tin cần thiết để chạy workflow (ví dụ: truy vấn DB giao dịch, hệ thống CRM, đọc PDF, tìm kiếm web)
    • Hành động (Action): tương tác với hệ thống để thêm thông tin vào DB, cập nhật bản ghi, gửi tin nhắn... (ví dụ: gửi email/SMS, cập nhật bản ghi CRM, chuyển ticket hỗ trợ khách hàng cho người thật)
    • Điều phối (Orchestration): bản thân agent đóng vai trò công cụ của agent khác (ví dụ: agent hoàn tiền, agent nghiên cứu, agent viết)

• Cấu trúc chỉ dẫn

  • Chỉ dẫn chất lượng cao là yếu tố thiết yếu với mọi ứng dụng dựa trên LLM, nhưng đặc biệt quan trọng với agent
  • Chỉ dẫn rõ ràng giúp giảm mơ hồ và cải thiện việc ra quyết định của agent, từ đó workflow vận hành mượt hơn và ít lỗi hơn
  • Thực hành tốt khi viết chỉ dẫn cho agent:
    • Tận dụng tài liệu sẵn có: dùng quy trình vận hành hiện hữu, script hỗ trợ, tài liệu chính sách để tạo routine thân thiện với LLM (trong dịch vụ khách hàng, routine thường gần tương ứng với từng tài liệu riêng trong knowledge base)
    • Prompt phân rã tác vụ: cung cấp các bước nhỏ hơn và rõ ràng hơn từ nguồn tài nguyên dày đặc để giảm mơ hồ
    • Định nghĩa hành động rõ ràng: nêu rõ mỗi bước trong routine tương ứng với một hành động hoặc đầu ra cụ thể (ví dụ: yêu cầu số đơn hàng, truy xuất chi tiết tài khoản qua API call)
    • Bao quát edge case: dự đoán các biến thể phổ biến như người dùng cung cấp thông tin không đầy đủ hoặc đặt câu hỏi bất ngờ, rồi đưa cách xử lý bằng bước có điều kiện hoặc nhánh logic
  • Cũng có thể dùng các mô hình nâng cao như o1 hoặc o3‑mini để tự động tạo chỉ dẫn từ tài liệu hiện có

Điều phối

• Hệ thống một agent

  • Một agent duy nhất có thể xử lý nhiều tác vụ bằng cách bổ sung công cụ dần dần, giúp quản lý độ phức tạp cũng như đơn giản hóa đánh giá và bảo trì
  • Mọi cách tiếp cận điều phối đều cần khái niệm 'run', thường được triển khai như một vòng lặp để agent hoạt động cho đến khi đạt điều kiện dừng
  • Các điều kiện dừng phổ biến: gọi công cụ, đầu ra có cấu trúc cụ thể, lỗi, hoặc đạt số lượt tối đa
  • Trong Agents SDK, agent được khởi chạy bằng phương thức Agents.run(), và vòng lặp kết thúc khi có lệnh gọi công cụ đầu ra cuối cùng hoặc phản hồi mô hình không có lệnh gọi công cụ
  • Chiến lược prompt template: thay vì nhiều prompt riêng lẻ, dùng một prompt nền tảng linh hoạt nhận các biến chính sách để thích nghi với nhiều ngữ cảnh khác nhau, từ đó đơn giản hóa đáng kể việc bảo trì và đánh giá

• Khi nào chuyển sang hệ thống nhiều agent

  • Khuyến nghị chung là tối đa hóa năng lực của một agent trước
  • Nhiều agent giúp tách biệt khái niệm trực quan hơn nhưng đi kèm độ phức tạp và overhead bổ sung, nên trong nhiều trường hợp một agent với các công cụ đã là đủ
  • Hướng dẫn thực tế khi tách agent:
    • Logic phức tạp: khi prompt chứa nhiều câu lệnh điều kiện (nhánh if-then-else) và prompt template trở nên khó mở rộng, hãy tách từng phần logic thành các agent riêng
    • Quá tải công cụ: vấn đề không nằm ở số lượng công cụ mà ở mức độ tương đồng hoặc chồng lặp — có triển khai quản lý thành công hơn 15 công cụ được phân biệt rõ ràng, trong khi cũng có trường hợp gặp khó với dưới 10 công cụ bị trùng lặp

• Mẫu manager (dùng agent như công cụ)

  • Một LLM trung tâm là "manager" điều phối mạng lưới agent chuyên biệt thông qua việc gọi công cụ
  • Manager ủy quyền tác vụ cho agent phù hợp đúng lúc mà không mất ngữ cảnh hay quyền kiểm soát, rồi tổng hợp kết quả thành một tương tác thống nhất
  • Phù hợp với các workflow mà chỉ một agent cần kiểm soát việc thực thi workflow và truy cập người dùng
  • Ví dụ: agent dịch thuật gọi các agent tiếng Tây Ban Nha, tiếng Pháp và tiếng Ý như công cụ

• Mẫu phi tập trung (handoff giữa các agent)

  • Agent "handoff" việc thực thi workflow cho agent khác theo cơ chế chuyển giao một chiều
  • Trong Agents SDK, handoff là một dạng công cụ hoặc hàm; khi gọi hàm handoff, trạng thái hội thoại mới nhất sẽ được truyền đi và agent mới bắt đầu chạy ngay lập tức
  • Tối ưu cho cách mỗi agent tiếp nhận quá trình thực thi và tương tác trực tiếp với người dùng mà không cần một agent trung tâm duy trì quyền kiểm soát hay tổng hợp
  • Ví dụ: agent triage đánh giá truy vấn của người dùng rồi định tuyến đến agent hỗ trợ kỹ thuật, bán hàng hoặc quản lý đơn hàng

• Đồ thị khai báo vs phi khai báo

  • Một số framework yêu cầu định nghĩa trước toàn bộ nhánh, vòng lặp và điều kiện theo kiểu khai báo (declarative) dưới dạng đồ thị gồm node (agent) và edge (handoff) — tuy có sự rõ ràng trực quan nhưng sẽ trở nên rườm rà khi workflow động và phức tạp hơn, đồng thời đòi hỏi học thêm ngôn ngữ chuyên biệt theo miền
  • Agents SDK áp dụng cách tiếp cận code-first, cho phép biểu đạt trực tiếp logic workflow bằng các cấu trúc lập trình quen thuộc, giúp điều phối agent linh hoạt và thích ứng hơn mà không cần định nghĩa trước toàn bộ đồ thị

Guardrail

• Vai trò của guardrail

  • Giúp quản lý rủi ro quyền riêng tư dữ liệu (ví dụ: ngăn rò rỉ system prompt) và rủi ro danh tiếng (ví dụ: buộc mô hình hành xử phù hợp với thương hiệu)
  • Một guardrail đơn lẻ khó có thể bảo vệ đầy đủ; cần kết hợp nhiều guardrail chuyên biệt để xây dựng agent có khả năng chống chịu tốt hơn
  • Guardrail là thành phần quan trọng nhưng phải đi cùng các giao thức xác thực và phân quyền mạnh, kiểm soát truy cập nghiêm ngặt và các biện pháp bảo mật phần mềm tiêu chuẩn

• Các loại guardrail

  • Bộ phân loại mức độ liên quan (Relevance classifier): kiểm tra xem phản hồi của agent có nằm trong phạm vi mong muốn hay không và gắn cờ truy vấn lạc đề (ví dụ: “Chiều cao của tòa Empire State là bao nhiêu?” sẽ bị gắn cờ là ngoài chủ đề)
  • Bộ phân loại an toàn (Safety classifier): phát hiện đầu vào không an toàn như jailbreak hoặc prompt injection nhằm khai thác lỗ hổng hệ thống
  • Bộ lọc PII: ngăn việc lộ không cần thiết thông tin nhận dạng cá nhân (PII) trong đầu ra của mô hình
  • Moderation: gắn cờ các đầu vào độc hại hoặc không phù hợp như phát ngôn thù ghét, quấy rối hoặc bạo lực
  • Biện pháp bảo vệ công cụ (Tool safeguards): gán mức rủi ro thấp/trung bình/cao cho từng công cụ dựa trên quyền truy cập chỉ đọc hay ghi, khả năng đảo ngược, quyền tài khoản cần thiết và tác động tài chính; từ đó kích hoạt các hành động tự động như tạm dừng để kiểm tra guardrail hoặc chuyển cho con người trước khi thực thi chức năng rủi ro cao
  • Bảo vệ dựa trên luật (Rules-based protections): các biện pháp quyết định luận đơn giản như danh sách chặn, giới hạn độ dài đầu vào, bộ lọc regex... để ngăn các mối đe dọa đã biết như từ ngữ bị cấm hoặc SQL injection
  • Xác thực đầu ra (Output validation): dùng prompt engineering và kiểm tra nội dung để bảo đảm phản hồi phù hợp với giá trị thương hiệu

• Cách tiếp cận xây dựng guardrail

  • Bắt đầu bằng các guardrail cho những rủi ro đã được xác định, rồi bổ sung thêm các lớp mới khi phát hiện lỗ hổng mới
  • Heuristic hiệu quả:
    • Tập trung vào quyền riêng tư dữ liệu và an toàn nội dung
    • Bổ sung guardrail mới dựa trên edge case thực tế và các ca thất bại
    • Tối ưu đồng thời cả bảo mật lẫn trải nghiệm người dùng, và điều chỉnh guardrail theo quá trình tiến hóa của agent
  • Trong Agents SDK, guardrail được xem là khái niệm hạng nhất (first-class concept) và mặc định dùng optimistic execution — agent nền tảng chủ động tạo đầu ra trong khi guardrail chạy song song, và sẽ kích hoạt exception nếu có vi phạm ràng buộc

• Lập kế hoạch can thiệp của con người

  • Sự can thiệp của con người là cơ chế an toàn cốt lõi có thể cải thiện hiệu năng thực tế của agent mà không làm tổn hại trải nghiệm người dùng
  • Điều này đặc biệt quan trọng ở giai đoạn đầu triển khai, giúp nhận diện lỗi, phát hiện edge case và thiết lập chu trình eval vững chắc
  • Hai tác nhân chính cần đến can thiệp của con người:
    • Vượt ngưỡng thất bại: đặt giới hạn cho số lần agent thử lại hoặc hành động, rồi chuyển cho con người khi vượt ngưỡng (ví dụ: không xác định được ý định khách hàng sau nhiều lần thử)
    • Hành động rủi ro cao: các hành động nhạy cảm, không thể đảo ngược hoặc có mức độ hệ trọng cao (ví dụ: hủy đơn hàng của người dùng, phê duyệt hoàn tiền lớn, xử lý thanh toán) cần có giám sát của con người cho đến khi độ tin cậy của agent đủ cao

Kết luận

• Agent mở ra một kỷ nguyên mới của tự động hóa workflow, nơi hệ thống có thể suy luận trong bối cảnh mơ hồ, hành động thông qua công cụ và xử lý các tác vụ nhiều bước với mức độ tự chủ cao
• Khác với ứng dụng LLM đơn giản, agent có thể thực thi workflow end-to-end, nên phù hợp với các bài toán ra quyết định phức tạp, dữ liệu phi cấu trúc và các hệ thống dựa trên luật mong manh
• Để xây dựng agent đáng tin cậy: cần kết hợp mô hình đủ năng lực, công cụ được định nghĩa rõ ràng, chỉ dẫn mạch lạc và có cấu trúc; dùng mẫu điều phối phù hợp với độ phức tạp, nhưng bắt đầu từ một agent duy nhất và chỉ mở rộng sang nhiều agent khi thực sự cần
• Guardrail quan trọng ở mọi giai đoạn, từ lọc đầu vào đến sử dụng công cụ và sự can thiệp của con người, nhằm bảo đảm agent vận hành an toàn và có thể dự đoán được trong môi trường production
• Triển khai thành công không phải là tất tay ngay từ đầu, mà là bắt đầu nhỏ, kiểm chứng với người dùng thực và phát triển năng lực theo thời gian bằng cách tiếp cận lặp lại

• Cũng có bản PDF