- CEO OpenAI Sam Altman cho biết chiến lược nghiên cứu đã tạo ra ChatGPT nay không còn hiệu quả nữa, và cần những ý tưởng mới cho bước phát triển tương lai của trí tuệ nhân tạo
- OpenAI đã mở rộng các thuật toán máy học hiện có để tạo ra những mô hình ngôn ngữ như GPT-4, nhưng trong tương lai sẽ khó phát triển chỉ bằng cách tiếp tục tăng kích thước mô hình
- Việc phát triển GPT-4 đã tiêu tốn hơn 100 triệu USD, và việc mở rộng trung tâm dữ liệu cũng bị hạn chế do các giới hạn vật lý
- Hướng nghiên cứu AI sau GPT-4
- Nick Frosst, đồng sáng lập Cohere, cũng đồng ý rằng chỉ mở rộng kích thước mô hình thì sẽ có giới hạn
- Thiết kế mô hình AI mới (kiến trúc) và tinh chỉnh thông qua phản hồi của con người có thể trở thành những hướng nghiên cứu đầy hứa hẹn
- Quá trình phát triển của dòng mô hình GPT
- GPT-2 được công bố năm 2019 là một mô hình lớn với 1,5 tỷ tham số
- Năm 2020, GPT-3 tăng mạnh lên 175 tỷ tham số, và điều này đã thúc đẩy các công ty cùng tổ chức nghiên cứu khác theo đuổi việc phát triển những mô hình có quy mô tương tự
- Quy mô chính xác của GPT-4 chưa được công bố, nhưng có thể suy đoán rằng ngoài việc chỉ tăng quy mô, các kỹ thuật như học tăng cường từ phản hồi của con người cũng đã được sử dụng
- Tác động xã hội và tranh cãi do sự xuất hiện của GPT-4
- Năng lực đáng kinh ngạc của GPT-4 đã khiến các chuyên gia kinh ngạc, đồng thời làm dấy lên lo ngại rằng AI có thể thay đổi nền kinh tế và xóa bỏ việc làm
- Một số chuyên gia và doanh nhân như Elon Musk đã công bố thư ngỏ kêu gọi tạm dừng phát triển AI mạnh hơn GPT-4 trong 6 tháng
- CEO Altman cho biết hiện tại OpenAI không phát triển GPT-5 và cũng chưa có kế hoạch phát triển trong thời gian tới
Ý kiến của GN⁺
- Việc phát triển các mô hình ngôn ngữ lớn như GPT-4 đòi hỏi chi phí khổng lồ và tài nguyên tính toán rất lớn, nên rất khó để tiếp tục mở rộng chúng một cách bền vững trong thực tế. Vì vậy, như phát biểu của CEO Altman, có vẻ cần tìm kiếm những hướng nghiên cứu mới
- Nhiều kỹ thuật khác nhau để cải thiện hiệu năng mô hình, như học tăng cường từ phản hồi của con người, đang được nghiên cứu, nên có thể kỳ vọng sự phát triển của AI sẽ đến từ đổi mới ở chính thuật toán thay vì chỉ mở rộng kích thước mô hình
- Sự xuất hiện của những mô hình AI mạnh như GPT-4 được dự báo sẽ tạo ra thay đổi lớn trên toàn xã hội, vì vậy cùng với phát triển công nghệ, cũng cần nỗ lực tìm kiếm đồng thuận xã hội về các vấn đề đạo đức và pháp lý đi kèm
- Khi công nghệ AI phát triển nhanh chóng, các lo ngại về tác dụng phụ như thay thế việc làm đang được đặt ra, nhưng đồng thời cũng có cơ hội tạo ra việc làm mới và nâng cao năng suất, nên cần tìm kiếm phương án ứng phó với góc nhìn dài hạn
- Có vẻ không dễ để các startup vừa và nhỏ duy trì năng lực cạnh tranh trong cuộc đua phát triển mô hình AI lớn, vì vậy cần tìm kiếm các mô hình kinh doanh mới như đổi mới trong các lĩnh vực chuyên biệt hoặc cung cấp nền tảng phát triển
2 bình luận
Đây là bài phỏng vấn từ tháng 4 năm ngoái. Vì đã là nội dung từ tận 1 năm trước nên cũng có khá nhiều chỗ không còn đúng nữa.
Đọc phần tóm tắt xong tôi còn tự hỏi đây là chuyện từ bao giờ rồi nhỉ, hóa ra là bài báo từ 1 năm trước haha