OpenAI công bố Model Spec

Nhằm nâng cao hiểu biết của công chúng về cách các mô hình AI hội thoại nên hoạt động, OpenAI đã công bố một tài liệu có tên "Model Spec"

• Model Spec là tài liệu nêu rõ OpenAI muốn các mô hình hoạt động như thế nào trong OpenAI API và ChatGPT
• OpenAI cho rằng điều quan trọng là mọi người có thể hiểu và thảo luận về những lựa chọn thực chất cấu thành hành vi của mô hình
• Model Spec phản ánh các tài liệu hiện có mà OpenAI đã sử dụng, nghiên cứu và kinh nghiệm về thiết kế hành vi mô hình, cũng như công việc đang được tiến hành cho việc phát triển mô hình trong tương lai
• Đây là phần tiếp nối trong nỗ lực liên tục của OpenAI nhằm cải thiện hành vi mô hình bằng cách tận dụng đầu vào của con người, đồng thời bổ sung cho công việc collective alignment và cách tiếp cận an toàn mô hình mang tính hệ thống rộng hơn

Định hình hành vi mô hình mong muốn (Shaping Desired Model Behavior)

Hành vi mô hình, tức cách mô hình phản hồi với đầu vào của người dùng (giọng điệu, cá tính, độ dài câu trả lời, v.v.), là yếu tố rất quan trọng đối với cách con người tương tác với các khả năng của AI.

• Việc định hình hành vi mô hình vẫn còn là một lĩnh vực khoa học ở giai đoạn đầu, và mô hình không được lập trình một cách tường minh mà học từ lượng dữ liệu rộng lớn
• Khi định hình hành vi mô hình, cần tính đến nhiều câu hỏi, yếu tố cân nhắc và sắc thái khác nhau, đồng thời thường phải đánh giá những khác biệt về quan điểm
• Ngay cả khi mô hình được thiết kế để hữu ích và mang lại lợi ích rộng rãi cho người dùng, các mục tiêu này trên thực tế vẫn có thể xung đột
  • Ví dụ: một công ty bảo mật muốn tạo dữ liệu tổng hợp để huấn luyện bộ phân loại email lừa đảo nhằm bảo vệ khách hàng, nhưng nếu kẻ lừa đảo sử dụng khả năng này thì có thể gây hại

Giới thiệu Model Spec

• OpenAI chia sẻ bản dự thảo của tài liệu mới mang tên "Model Spec", trong đó nêu rõ cách định hình hành vi mô hình mong muốn và cách đánh giá các phương án đánh đổi khi phát sinh xung đột
• Model Spec tích hợp các tài liệu hiện đang được OpenAI sử dụng, kinh nghiệm và nghiên cứu đang diễn ra về thiết kế hành vi mô hình, cùng ý kiến chuyên gia và những công việc gần đây nhằm định hướng phát triển mô hình trong tương lai
• Model Spec chưa hoàn chỉnh và dự kiến sẽ tiếp tục thay đổi theo thời gian

Cách tiếp cận của Model Spec bao gồm:

1. Mục tiêu: các nguyên tắc rộng và tổng quát cung cấp định hướng cho hành vi mong muốn
   • Hỗ trợ nhà phát triển và người dùng cuối
   • Mang lại lợi ích cho nhân loại
   • Phản ánh tốt OpenAI
2. Quy tắc: các chỉ dẫn giúp xử lý sự phức tạp, đồng thời bảo đảm an toàn và tính hợp pháp
   • Tuân thủ hệ thống mệnh lệnh
   • Tuân thủ các luật và quy định liên quan
   • Không cung cấp rủi ro thông tin
   • Tôn trọng nhà sáng tạo và quyền lợi
   • Bảo vệ quyền riêng tư
   • Không phản hồi bằng nội dung NSFW
3. Hành vi mặc định: các hướng dẫn phù hợp với mục tiêu và quy tắc, cung cấp cách xử lý xung đột và minh họa cách ưu tiên cũng như cân bằng các mục tiêu
   • Giả định thiện chí của người dùng/nhà phát triển
   • Đặt câu hỏi làm rõ khi cần
   • Hỗ trợ tối đa trong phạm vi không vượt quá giới hạn
   • Hỗ trợ các yêu cầu đa dạng của trò chuyện tương tác và sử dụng trong lập trình
   • Giả định góc nhìn khách quan
   • Khuyến khích công bằng và tử tế, hạn chế thù ghét
   • Không cố thay đổi suy nghĩ của người khác
   • Thể hiện sự không chắc chắn
   • Sử dụng công cụ phù hợp với tác vụ
   • Tuân thủ giới hạn độ dài nhưng vẫn đầy đủ và hiệu quả

Cách sử dụng Model Spec

• Là phần tiếp nối của công việc về collective alignment và an toàn mô hình, OpenAI dự định sử dụng Model Spec như hướng dẫn cho các nhà nghiên cứu và AI trainer thực hiện học tăng cường từ phản hồi của con người
• Đồng thời, OpenAI cũng sẽ khám phá mức độ mà mô hình có thể học trực tiếp từ Model Spec

Kế hoạch sắp tới

• OpenAI xem công việc này là một phần của cuộc đối thoại công khai đang tiếp diễn về cách mô hình nên hành xử, cách xác định hành vi mô hình mong muốn, và cách tốt nhất để đưa công chúng tham gia vào những thảo luận này.
• Khi cuộc đối thoại tiếp tục, OpenAI sẽ tìm kiếm cơ hội hợp tác với các bên liên quan có tính đại diện trên toàn cầu như nhà hoạch định chính sách, các tổ chức đáng tin cậy và chuyên gia theo lĩnh vực
• Thông qua đó, OpenAI muốn xác định các điểm sau:
  1. Các bên liên quan hiểu cách tiếp cận của Model Spec cũng như từng mục tiêu, quy tắc và giá trị mặc định như thế nào
  2. Liệu các bên liên quan có ủng hộ cách tiếp cận cũng như từng mục tiêu, quy tắc và giá trị mặc định hay không
  3. Có hay không các mục tiêu, quy tắc và giá trị mặc định khác cần được xem xét thêm
• OpenAI mong muốn lắng nghe ý kiến của các bên liên quan khi công việc này tiến triển
• Đồng thời, trong 2 tuần tới, OpenAI khuyến khích công chúng chia sẻ phản hồi về các mục tiêu, quy tắc và giá trị mặc định của Model Spec
• OpenAI hy vọng qua đó có thể sớm thu được những hiểu biết ban đầu để xây dựng một quy trình mạnh mẽ nhằm thu thập và tích hợp phản hồi, từ đó tiến bước một cách có trách nhiệm hướng tới sứ mệnh của mình
• Trong năm tới, OpenAI sẽ chia sẻ các cập nhật về những thay đổi của Model Spec, phản hồi đối với ý kiến đóng góp, và tiến độ nghiên cứu liên quan đến việc định hình hành vi mô hình