Giới hạn và vấn đề của AI hiện tại
Vì sao khó dùng AI cho các mục đích nghiêm túc
- Từ góc độ kỹ nghệ phần mềm, các hệ thống AI hiện tại thiếu độ tin cậy vì khó quản lý hiệu quả độ phức tạp và quy mô
- Phần mềm có ảnh hưởng lớn cần có tính minh bạch, khả năng quản trị và trách nhiệm giải trình, nhưng AI hiện tại chưa đáp ứng được
- Thiếu trách nhiệm đối với nguồn gốc dữ liệu, và trách nhiệm với kết quả do thuật toán AI tạo ra cũng còn mơ hồ
- Đã có các nỗ lực về 'AI có thể giải thích' và giảm thiểu thiên lệch, nhưng vấn đề cốt lõi về trách nhiệm dữ liệu và độ khó trong kỹ thuật vẫn chưa được giải quyết
Cách AI dựa trên mạng nơ-ron vận hành
- AI hiện tại dựa trên các mạng nơ-ron quy mô lớn (LLM, Generative AI, v.v.), với hàng triệu nơ-ron kết nối với nhau
- Việc huấn luyện chủ yếu được thực hiện theo phương thức học không giám sát hoặc tự giám sát, với mức can thiệp của con người là tối thiểu
- Chức năng của hệ thống được quyết định trong quá trình huấn luyện để học từ dữ liệu được cung cấp và đáp ứng mục tiêu đầu ra
- Cần lượng tài nguyên tính toán khổng lồ, kéo theo chi phí và mức tiêu thụ năng lượng rất lớn
Tính phi cấu trúc của mạng nơ-ron và 'hành vi phát sinh'
- Các hệ thống AI hiện tại thể hiện hành vi phát sinh, đến mức khó giải thích cách toàn bộ hệ thống vận hành chỉ bằng định nghĩa toán học của từng nơ-ron riêng lẻ
- Cấu trúc bên trong của hệ thống không có mối liên hệ mang ý nghĩa với chức năng, nên không thể tái sử dụng hoặc phát triển theo hướng mô-đun
- Không có mô hình trung gian hay phương thức phát triển theo từng giai đoạn, nên rất khó giải thích lý do và logic của hệ thống
- Ngay cả 'cách con người làm trung gian' cũng không thực sự giúp giải thích kết quả mà hệ thống tạo ra
Cách tiếp cận cấu thành trong kỹ nghệ phần mềm và vấn đề của AI
- Cách tiếp cận cấu thành (compositionality) là phương thức giải thích toàn bộ hệ thống bằng cách hiểu ý nghĩa của từng thành phần riêng lẻ và cách chúng được kết hợp
- AI hiện tại không hỗ trợ cách tiếp cận này, và gây ra các vấn đề sau:
- Cấu trúc bên trong không mang ý nghĩa nên không thể tái sử dụng về mặt chức năng
- Không thể phát triển hoặc kiểm chứng theo từng bước
- Không có mô hình tri thức tường minh nên hệ thống không thể giải thích 'lý do'
Giới hạn của việc kiểm chứng
- Các hệ thống AI hiện tại có không gian đầu vào và không gian trạng thái quá lớn nên không thể kiểm thử toàn diện
- Đầu ra đúng của hệ thống xác suất chỉ cho thấy khả năng đối với đầu vào tương ứng, chứ không bảo đảm kết quả luôn đáng tin cậy
- Không thể thực hiện kiểm chứng từng phần như unit test hay integration test, mà chỉ có thể kiểm chứng toàn bộ hệ thống
- Ngay cả khi kiểm thử toàn hệ thống, độ bao phủ vẫn không đủ để bảo đảm độ tin cậy
Vấn đề về lỗi và việc sửa lỗi
- Có thể phát sinh lỗi do thiếu dữ liệu huấn luyện hoặc dữ liệu đầu vào không hoàn chỉnh
- Ngay cả khi huấn luyện lại để sửa lỗi, cũng không thể sửa cục bộ và việc regression test cũng rất khó
- Khả năng cao sẽ xuất hiện lỗi mới, và cũng khó phát hiện chúng
Kết luận và đề xuất
- Các hệ thống AI hiện tại thiếu độ tin cậy và an toàn, nên không phù hợp để dùng cho các ứng dụng nghiêm túc
- Công nghệ hiện tại chỉ có thể cải thiện ở mức hạn chế thông qua việc tăng dữ liệu huấn luyện và tài nguyên tính toán, chứ chưa đạt được sự cải thiện căn bản về độ tin cậy
- Đề xuất:
- Phát triển các hệ thống lai kết hợp mạng nơ-ron với AI biểu tượng
- Tạo mô hình tri thức tường minh và mức độ tin cậy, hoặc kết hợp với các kỹ thuật truy xuất dữ liệu và chứng minh hiện có
- Sử dụng trong các lĩnh vực giới hạn, nơi có thể quản lý lỗi một cách đáng tin cậy
- Ứng dụng trong các lĩnh vực cụ thể như dự báo thời tiết, nơi dự đoán xác suất là phù hợp
13 bình luận
Vấn đề cốt lõi là AI hiện nay đang phụ thuộc vào kiểu kiểm chứng quy nạp rằng vì nó an toàn cho đến hôm qua và hôm nay cũng an toàn, nên ngày mai chắc cũng sẽ an toàn, mà không có bất kỳ sự kiểm chứng diễn dịch nào.
Giống như lý thuyết thiên nga đen, khả năng một ngày nào đó xuất hiện hiện tượng bất thường mang tính chí mạng vẫn luôn tồn tại, và theo một góc nhìn nào đó, sự an toàn hiện tại đang dựa vào may mắn.
Trong kỹ nghệ phần mềm truyền thống, vấn đề này có thể được kiểm chứng theo hướng diễn dịch ở từng đơn vị bằng cách nhận diện và phân tích các thành phần riêng lẻ, rồi xây dựng kịch bản và bài kiểm thử, nhưng với AI thì điều đó đến nay vẫn hoàn toàn bất khả thi.
Vấn đề này Tesla đã giải quyết trong mảng lái xe tự hành rồi..
Có vẻ vấn đề lớn là vì không thể xác minh ở cấp hệ thống đối với mô hình nên độ tin cậy không thể đạt tới 100%, vậy trong xe tự lái người ta đang giải quyết theo cách nào?
Tesla đang cho thấy một hình mẫu về việc thực sự áp dụng AI vào thế giới thực.
Bất cứ điều gì cũng không thể đạt 100%. 100% либо là lừa đảo, либо là ảo tưởng.
Giống như mọi startup khác, chúng tôi tiến hành từng bước một, theo hướng agile.
Cũng có thể điều khiển từ xa trong các tình huống có vấn đề, và hiện tại đang vận hành dưới dạng supervised.
Vấn đề không nằm ở con số độ tin cậy 100%, mà chẳng phải mấu chốt là cấu trúc mô hình không thể giải thích được sao?
Có vẻ điểm cốt lõi là với kết quả suy luận của mô hình, các mô hình deep learning hiện nay, đặc biệt là những mô hình dựa trên mạng nơ-ron, trong nhiều trường hợp rất khó giải thích chỉ bằng việc trình bày cấu trúc bên trong.
Dù vậy, gần đây cũng đã có nhiều nghiên cứu và cả Anthropic đưa ra các cách để giải quyết vấn đề black box, nên có lẽ đây sẽ lại là vấn đề sớm được tháo gỡ.
Tôi cho rằng dù là 100% hay khả năng giải thích được thì cũng đều là ảo tưởng.
Điều quan trọng, giống như lập luận "căn phòng tiếng Trung", là rốt cuộc việc tự lái của Tesla an toàn hơn con người lái xe về mặt thống kê. Và AI sẽ tiếp tục mở rộng, hoạt động tốt trong "gần như" mọi trường hợp, tiến sát đến mức 100%.
Nhiều guru (Elon Musk, Eric Schmidt, v.v.) nói rằng AI cần có rào chắn an toàn vì họ biết rằng AI là thứ không thể giải thích được.
Đây là ý kiến bên dưới trên Hacker News.
Nếu không xét đến khả năng giải thích của mô hình mà chỉ xét độ chính xác của kết quả, thì làm sao chúng ta có thể tin tưởng và sử dụng sản phẩm?
Bạn nói quá mơ hồ nên tôi không hiểu lắm, nhưng chẳng phải điều quan trọng là cơ chế hoạt động bên trong mô hình cũng phải "có thể giải thích được" thì mới có thể kiểm chứng ở một mức độ nào đó hay sao?
Theo ý kiến của kandik thì ý nghĩa tồn tại của Functional Safety sẽ không còn nữa.
Liệu lòng người có thể được giải thích không? Nếu lòng người còn không thể giải thích được, vậy làm sao người ta tuyển nhân viên mới?
Cơ học lượng tử là một mô hình thống kê 100%, và nó đang giải thích thế giới rất tốt.
Khái niệm như "niềm tin" cũng có thể thay đổi nhờ sự phát triển của công nghệ.
Dù thế nào đi nữa, với các nhà phát triển thì đây vẫn là một tình huống rất mệt mỏi. Dùng AI là để làm việc thoải mái hơn, nhưng vì không biết phải siết chặt kiểm thử đến mức nào để đảm bảo độ tin cậy nên thật sự rất khó xử.
Khi làm ra sản phẩm, việc có thể giải thích được vẫn tốt hơn. Cuối cùng thì con người không phải là sản phẩm, nên với một vấn đề nào đó có thể quy trách nhiệm cho chính con người, còn sản phẩm thì nếu có lỗi, trách nhiệm sẽ được quy cho người làm ra nó.
Vì thế càng cần phải đưa môi trường kiểm thử đến gần thực tế hơn. Vì không biết nguyên lý, nên rốt cuộc chỉ còn cách huấn luyện sao cho tối đa không xuất hiện các tình huống ngoại lệ.
Ý kiến trên Hacker News
Đã theo dõi sự phát triển của mạng nơ-ron từ giữa thập niên 1990 và nhận thấy mỗi giai đoạn của mạng nơ-ron đều đi đến ngõ cụt. Điều này là do cách tiếp cận toán học cản trở sự hiểu biết trực quan. Việc LLM giúp tìm kiếm ngữ nghĩa trở nên dễ dàng là điều thú vị.
Hiện không thể dự đoán khả năng mở rộng của các hệ thống AI hiện nay. So với não người, số lượng kết nối thần kinh là rất ít.
AI dựa trên LLM có khiếm khuyết từ góc độ phát triển phần mềm và không phù hợp với các ứng dụng quan trọng.
Con người cũng mắc sai lầm ngay cả trong các công việc quan trọng, và hệ thống AI cũng vậy.
Đang tích cực sử dụng AI và nhận được nhiều trợ giúp trong các dự án cá nhân.
Việc mở rộng dữ liệu không còn mang lại phần thưởng lớn nữa. LLM không phải là con đường dẫn tới AGI.
Có nhiều tranh luận về việc AI có đại diện cho trí thông minh hay không. Bộ não con người cũng không đáng tin cậy, và có thảo luận về mức độ phù hợp của LLM trong an ninh mạng.