Suy ngẫm về thung lũng kỳ quái của AI tạo sinh

• Không giống các công nghệ khác, AI tạo sinh có sức mạnh tạo ra sự kinh ngạc
  • Đôi khi đó là điều tốt, nhưng đôi khi có thể không phải vậy
  • Ở trung tâm của trải nghiệm công nghệ này là những câu hỏi về kỳ vọng
    • "Đây có thật sự là điều tôi mong đợi không? Kết quả đầu ra có đủ tốt không? Hay nó đang đánh lừa tôi?"
• Về lý thuyết, khi AI tạo sinh phát triển, vấn đề này lẽ ra phải trở nên bớt quan trọng hơn, nhưng trong thực tế, khi nó trở nên 'giống con người' hơn, nó cũng có thể trở nên đáng ngại và gây khó chịu hơn
  • Điều này khiến nó rơi vào tình huống mà ngành robot học từ lâu đã mô tả là "thung lũng kỳ quái (uncanny valley)"
• Ta có thể muốn bỏ qua điều này với lý do rằng có thể hiệu chỉnh bằng bộ dữ liệu lớn hơn hoặc huấn luyện tốt hơn, nhưng chừng nào nó còn nói lên sự rối loạn trong mô hình tinh thần của chúng ta về công nghệ, thì đây là "một vấn đề cần được thừa nhận và giải quyết"

Mô hình tinh thần và các phản mẫu

• Mô hình tinh thần là một khái niệm quan trọng trong UX và thiết kế sản phẩm, nhưng cũng cần được cộng đồng AI đón nhận tích cực hơn
  • Trong đời sống thường ngày, điều này thường không bộc lộ rõ: bởi việc đưa ra các giả định về hệ thống AI đã trở thành một kiểu mẫu quen thuộc
• Khi trợ lý lập trình AI ngày càng phổ biến, tác giả chỉ ra hai thực hành cần tránh là "sự dễ dãi với mã do AI tạo ra" và "thay thế pair programming bằng AI tạo sinh"
  • Cả hai đều xuất phát từ "mô hình tinh thần sai lệch" về việc công nghệ này "thực sự hoạt động như thế nào" và việc không thừa nhận các giới hạn của nó
  • Các công cụ này càng trở nên thuyết phục và 'giống con người' hơn, thì càng khó thừa nhận cách công nghệ thực sự vận hành và giới hạn của các 'giải pháp' mà nó đưa ra
• Với những người triển khai AI tạo sinh ra thế giới, rủi ro cũng tương tự, thậm chí có thể còn rõ nét hơn
  • Dù mục tiêu thường là tạo ra thứ gì đó thuyết phục và hữu dụng, nhưng nếu nó khiến người dùng hiểu sai, bị đánh lừa hoặc thấy khó chịu, thì giá trị đó sẽ biến mất
  • Việc xuất hiện các đạo luật như EU AI Act, yêu cầu gắn nhãn nội dung do AI tạo ra đối với các nhà tạo deepfake, không phải là điều đáng ngạc nhiên
• Không chỉ trong AI và robot học, các vấn đề tương tự cũng xuất hiện khi xây dựng ứng dụng di động đa nền tảng
  • Các nền tảng khác nhau có cách được sử dụng khác nhau, nên thiết kế trải nghiệm tổng thể cũng phải thay đổi
  • Tương tự, trong AI tạo sinh cũng tồn tại những giả định và mô hình tinh thần khác nhau tùy theo ngữ cảnh và trường hợp sử dụng, và điểm mà người dùng rơi vào thung lũng kỳ quái cũng khác nhau
  • Những khác biệt tinh vi này làm thay đổi trải nghiệm hoặc nhận thức về đầu ra của LLM
• Với nhà nghiên cứu dược phẩm cần lượng lớn dữ liệu tổng hợp, độ chính xác ở mức vi mô có thể không quá quan trọng; nhưng với luật sư đang cố nắm bắt tài liệu pháp lý, độ chính xác lại cực kỳ quan trọng
  • Việc rơi vào thung lũng kỳ quái có thể là tín hiệu để lùi lại một bước và đánh giá lại kỳ vọng

"Các mô hình tinh thần và khái niệm hiện có về AI tạo sinh không phải là vấn đề thứ yếu có thể bỏ qua, mà là một vấn đề thiết kế mang tính nền tảng"
Ken Mugrage & Srinivasan Raguraman

Chuyển đổi góc nhìn

• Thung lũng kỳ quái của AI tạo sinh có thể là một vấn đề, nhưng đồng thời cũng là công cụ nhắc nhở về các giới hạn của công nghệ
• Trên toàn ngành đã có những nỗ lực thú vị để giải quyết điều này
  • Giáo sư Ethan Mollick của Đại học Pennsylvania cho rằng AI nên được hiểu không phải là phần mềm tốt, mà là "những con người khá ổn"
    • Vì AI có những điểm mạnh và điểm yếu kỳ lạ giống con người, nên rất khó xác định có thể giao cho nó loại công việc nào
    • Vì không có sách hướng dẫn, cách duy nhất để biết AI giỏi điều gì là học trong quá trình làm việc cùng nó
  • Nói cách khác, kỳ vọng về việc AI tạo sinh có thể làm gì và hiệu quả ở đâu nên mang tính tạm thời và linh hoạt
  • Ở một mức độ nào đó, việc suy ngẫm về các giả định và kỳ vọng có thể là một cách để vượt qua thung lũng kỳ quái

Mở chiếc hộp đen

• Chỉ yêu cầu thay đổi tư duy thôi là chưa đủ
  • Đó là bước đầu, nhưng cũng cần những thực hành và công cụ giúp suy nghĩ khác đi về AI tạo sinh và giải quyết các thách thức mà mô hình tinh thần đặt ra
• Một ví dụ là kỹ thuật "Lấy đầu ra có cấu trúc từ LLM" được xác định trong Technology Radar mới nhất
  • Có thể thực hiện bằng cách chỉ thị trong prompt để mô hình phản hồi theo một định dạng cụ thể hoặc thông qua fine-tuning
  • Nhờ các công cụ như Instructor, việc này đã trở nên dễ dàng hơn trước
  • Ưu điểm là tạo ra sự căn chỉnh tốt hơn giữa kỳ vọng và đầu ra của LLM
    • Vẫn có khả năng xuất hiện điều gì đó bất ngờ hoặc không hoàn toàn khớp, nhưng kỹ thuật này phần nào giải quyết được vấn đề đó
• Ngoài ra còn có những kỹ thuật khác
  • Retrieval-augmented generation nói chung là cách kiểm soát tốt hơn công việc vốn rất phiền toái là điều khiển 'context window'
  • Thật đáng mừng khi thấy có các framework và công cụ để đánh giá và đo lường mức độ thành công của những kỹ thuật này
    • Ragas là một thư viện hữu ích, cung cấp cho nhà phát triển AI các metric về những thứ như độ trung thực và mức độ liên quan
    • DeepEval cũng được giới thiệu trong Radar
• Đo lường là quan trọng, nhưng việc suy nghĩ về các hướng dẫn và chính sách liên quan đến LLM cũng quan trọng không kém
  • Vì vậy, tác giả khuyến nghị khám phá LLM Guardrails
  • Đồng thời cũng cần có các bước để hiểu rõ hơn điều gì thực sự đang diễn ra bên trong những mô hình này
    • Có thể không thể hoàn toàn mở tung những chiếc hộp đen này, nhưng nhờ các công cụ như Langfuse, các nhóm và tổ chức có thể có được góc nhìn rõ ràng hơn về cách chúng vận hành
    • Điều này có thể giúp rất nhiều trong việc tái định hình mối quan hệ với công nghệ này, thay đổi mô hình tinh thần và loại bỏ khả năng rơi vào thung lũng kỳ quái

Không phải khuyết điểm, mà là cơ hội

• Những công cụ được mô tả là "vụ nổ kỷ Cambri của các công cụ AI tạo sinh" này có thể giúp những người ở trung tâm của ngành suy nghĩ lại về AI tạo sinh và xây dựng các sản phẩm tốt hơn
• Tuy nhiên, với thế giới rộng lớn hơn, công việc này sẽ là thứ vô hình
  • Vì vậy, ngoài việc phát triển chuỗi công cụ để kiểm soát và hiểu AI tạo sinh tốt hơn, điều quan trọng là phải thừa nhận rằng chính các mô hình tinh thần hiện có và bản thân khái niệm AI tạo sinh đã là một vấn đề thiết kế mang tính nền tảng
  • Đây không phải là vấn đề thứ yếu có thể bỏ qua trên con đường phía trước

"Thung lũng kỳ quái của AI tạo sinh không phải là vấn đề cần sửa chữa, mà là cơ hội để đánh giá lại điều chúng ta thực sự mong muốn và kỳ vọng ở công nghệ này"