- OpenAI đang triển khai lần lượt hội thoại bằng giọng nói và nhập hình ảnh cho ChatGPT, cho phép người dùng vượt ra ngoài nhập văn bản để trò chuyện bằng lời nói và đặt câu hỏi bằng cách cho xem ảnh
- Tính năng giọng nói cần được opt-in trên ứng dụng di động mới có thể sử dụng; người dùng chọn một trong 5 giọng nói, và Whisper sẽ chuyển lời nói của họ thành văn bản
- Tính năng hình ảnh xử lý ảnh chụp, ảnh màn hình và tài liệu trộn lẫn văn bản với hình ảnh; trên ứng dụng di động có thể dùng công cụ vẽ để chỉ định vùng cụ thể
- Sẽ được phát hành trước cho người dùng Plus và Enterprise trong vòng 2 tuần; giọng nói có trên iOS và Android, còn hình ảnh có trên mọi nền tảng
- Do tồn tại các rủi ro như tổng hợp giọng nói chân thực, diễn giải hình ảnh con người, và việc phụ thuộc trong các lĩnh vực rủi ro cao, OpenAI áp dụng triển khai hạn chế cùng các biện pháp an toàn
Cách nhập mới của ChatGPT: nói, cho xem và đặt câu hỏi
- ChatGPT bổ sung khả năng để người dùng trò chuyện bằng giọng nói hoặc cho xem hình ảnh khi đặt câu hỏi
- Các tính năng mới tập trung vào việc giúp sử dụng ChatGPT trực quan hơn, thay vì chỉ phụ thuộc vào nhập bằng bàn phím
- Ví dụ sử dụng gồm:
- Khi đi du lịch, chụp ảnh một địa danh và hỏi theo thời gian thực về những điểm thú vị
- Cho xem ảnh tủ lạnh và kho thực phẩm rồi hỏi thực đơn bữa tối cùng công thức từng bước
- Chụp ảnh bài toán của con, khoanh tròn bộ câu hỏi rồi yêu cầu gợi ý
Người dùng và nền tảng được mở trước
- Người dùng Plus và Enterprise sẽ có thể dùng tính năng giọng nói và hình ảnh trong vòng 2 tuần tới
- Tính năng giọng nói có trên iOS và Android, và cần opt-in trong phần cài đặt
- Tính năng hình ảnh có trên mọi nền tảng
- Sau đó phạm vi truy cập sẽ được mở rộng sang các nhóm người dùng khác, bao gồm cả nhà phát triển
Cách hoạt động của tính năng giọng nói
- Người dùng có thể hội thoại giọng nói hai chiều với ChatGPT
- Trò chuyện khi đang di chuyển
- Yêu cầu kể chuyện trước khi ngủ cho gia đình
- Hoặc phân xử tranh luận tại bàn ăn là những ví dụ điển hình
- Để bắt đầu dùng giọng nói trong ứng dụng di động, cần bật hội thoại giọng nói tại Settings → New Features
- Sau khi nhấn nút tai nghe ở góc trên bên phải màn hình chính, người dùng chọn giọng ưa thích trong 5 giọng nói
- Tính năng giọng nói mới sử dụng mô hình chuyển văn bản thành giọng nói có thể tạo ra âm thanh giống người thật chỉ từ văn bản và vài giây mẫu giọng nói
- Mỗi giọng nói được OpenAI tạo ra thông qua hợp tác với các diễn viên lồng tiếng chuyên nghiệp
- Nội dung người dùng nói sẽ được hệ thống nhận dạng giọng nói mã nguồn mở Whisper của OpenAI chuyển thành văn bản
Cách hoạt động của tính năng hình ảnh
- Người dùng có thể cho ChatGPT xem một hoặc nhiều hình ảnh rồi tiếp tục cuộc trò chuyện
- Nhập hình ảnh có thể được dùng cho các tác vụ như:
- Kiểm tra lý do bếp nướng không bật
- Lập kế hoạch bữa ăn bằng cách nhìn vào bên trong tủ lạnh
- Phân tích biểu đồ phức tạp chứa dữ liệu công việc
- Để tập trung vào một vùng cụ thể, có thể dùng công cụ vẽ trong ứng dụng di động
- Để thêm hình ảnh, nhấn nút chụp ảnh để chụp mới hoặc chọn ảnh
- Trên iOS và Android, trước tiên cần nhấn nút dấu cộng
- Có thể thảo luận nhiều ảnh cùng lúc hoặc dùng công cụ vẽ để chỉ cho assistant phần cần xem
- Việc hiểu hình ảnh do GPT‑3.5 đa phương thức và GPT‑4 đảm nhiệm
- Các mô hình này áp dụng khả năng suy luận ngôn ngữ lên nhiều loại hình ảnh khác nhau như ảnh chụp, ảnh màn hình và tài liệu có cả văn bản lẫn hình ảnh
Triển khai dần và biện pháp an toàn
- OpenAI chọn cách công bố dần dần các công cụ để vừa cải thiện vừa giảm thiểu rủi ro
- Với các mô hình tiên tiến có cả giọng nói và thị giác, khả năng bị lạm dụng thực tế lớn hơn nên chiến lược này càng quan trọng
-
Rủi ro và giới hạn liên quan đến giọng nói
- Công nghệ giọng nói mới có thể tạo ra giọng tổng hợp chân thực chỉ từ vài giây giọng nói thật
- Nó mở ra các ứng dụng sáng tạo và tập trung vào khả năng tiếp cận, nhưng cũng đi kèm rủi ro như mạo danh người nổi tiếng hoặc lừa đảo
- OpenAI sử dụng công nghệ này cho trường hợp sử dụng cụ thể là chat bằng giọng nói
- Chat bằng giọng nói được tạo bằng giọng của các diễn viên lồng tiếng mà OpenAI trực tiếp hợp tác
- Spotify đang dùng công nghệ này trong thử nghiệm Voice Translation
- Tính năng này dịch podcast sang các ngôn ngữ bổ sung bằng chính giọng của podcaster, giúp mở rộng phạm vi tiếp cận của storytelling
- Liên kết liên quan: Voice Translation
-
Rủi ro và giới hạn liên quan đến nhập hình ảnh
- Các mô hình dựa trên thị giác mang đến những thách thức mới như ảo giác về con người hoặc việc phụ thuộc vào diễn giải hình ảnh trong các lĩnh vực rủi ro cao
- OpenAI đã thử nghiệm mô hình với đội red team và nhiều alpha tester khác nhau trước khi phân phối rộng hơn
- Các lĩnh vực thử nghiệm bao gồm những miền rủi ro như chủ nghĩa cực đoan và trình độ khoa học
- Việc hợp tác với Be My Eyes được dùng để hiểu cách sử dụng hình ảnh và các giới hạn của nó
- Be My Eyes là ứng dụng di động miễn phí dành cho người mù và người khiếm thị
- Người dùng thấy hữu ích khi có thể trò chuyện chung về những hình ảnh có người trong đó, như tình huống trên TV có người xuất hiện ở hậu cảnh
- Vì ChatGPT không phải lúc nào cũng chính xác và quyền riêng tư cá nhân cần được tôn trọng, OpenAI đã áp dụng các biện pháp kỹ thuật để hạn chế mạnh khả năng ChatGPT phân tích con người và đưa ra các nhận định trực tiếp
- Việc sử dụng thực tế và phản hồi sẽ được dùng để cải thiện các biện pháp an toàn trong khi vẫn giữ được tính hữu ích của công cụ
Giới hạn mô hình và lưu ý khi sử dụng
- Người dùng có thể dựa vào ChatGPT trong các chủ đề chuyên môn như nghiên cứu, vì vậy cần hiểu giới hạn của mô hình và tránh các cách dùng rủi ro cao khi chưa được kiểm chứng
- Mô hình làm tốt việc chép lại văn bản tiếng Anh, nhưng hiệu năng thấp hơn ở một số ngôn ngữ khác, đặc biệt là các hệ chữ phi Latin
- OpenAI không khuyến nghị người dùng không dùng tiếng Anh sử dụng ChatGPT cho mục đích này
- Có thể đọc thêm về cách tiếp cận an toàn cho nhập hình ảnh và công việc liên quan đến Be My Eyes tại system card for image input
1 bình luận
Ý kiến trên Hacker News
Giao diện giọng nói có tiềm năng rất lớn, nhưng demo này khá gây thất vọng vì giống các trợ lý giọng nói kém khác: có độ trễ vài giây giữa câu hỏi và câu trả lời
Không nhất thiết phải như vậy. Một demo chạy cục bộ làm bằng Llama 2 phản hồi trong khoảng 0,5 giây, nên cảm giác gần với trò chuyện với người thật hơn là kiểu Siri
Cần đóng gói để mọi người có thể dùng thử, nhưng có một vấn đề là khó xác định người dùng đã nói xong chưa. Các hệ thống nhận dạng giọng nói có sẵn đang thiếu bộ dữ liệu và mô hình turn-taking trong hội thoại, và những công ty như OpenAI có lẽ có thể tạo ra chúng dễ dàng
Tổng độ trễ khứ hồi từ chuyển giọng nói thành văn bản, LLM, POS để xác thực SKU, rồi tạo lại giọng nói chỉ ở mức vài trăm mili giây. Nhờ có xác thực SKU nên cũng không thể bịa đặt, và ở mức này cảm giác khá tự nhiên. Nếu biến độ trễ thấp như vậy thành hệ thống phổ quát, có vẻ nó sẽ mở ra rất nhiều ứng dụng
Nếu làm được vậy, khi tôi tạm dừng nó có thể thận trọng bắt đầu nói, còn nếu tôi tiếp tục nói thì nó cũng có thể dừng ngay lập tức
Tôi không muốn phải bận tâm cấu trúc tương tác như một chuỗi gọi/đáp rõ ràng, và cũng không muốn phải cẩn thận nói liên tục cho đến khi hết ý vì sợ nó hành động sai thời điểm
Việc chen ngang lịch sự, hoặc thiếu khả năng đó, có thể trở thành dấu hiệu phân biệt liệu chúng ta có đang nói chuyện với AI hay không
Theo kinh nghiệm của tôi, nếu không dùng các mô hình nhỏ như 7B thì thời gian sinh của ChatGPT nhanh hơn Llama chạy cục bộ rất nhiều
Ngữ điệu chứa rất nhiều thông tin không có trong văn bản thuần. Một AI không hiểu phần đó của ngôn ngữ thì dù thông minh đến đâu cũng sẽ vẫn có gì đó ngớ ngẩn
Ví dụ về chiếc xe đạp dễ thương và ấn tượng, nhưng tương tác với con người có vẻ đang làm lu mờ khả năng lớn hơn
Chỉ cần chỉnh thêm vài thứ, đây sẽ trở thành một bộ giải tổng quát cho lập kế hoạch robot. Vẫn còn vài vấn đề khó trước khi có một giải pháp hoạt động trong thực tế, nhưng coi như một trong số đó đã được giải quyết
Liệu trong 5 năm tới chúng ta có thấy robot đa dụng do ChatGPT điều khiển làm các công việc lao động đơn giản không?
Ngoài ra tôi cũng tò mò liệu đây có phải cùng mô hình thị giác đã có trong Bing Chat hay không
https://www.deepmind.com/blog/rt-2-new-model-translates-visi...
Một người có hộp dụng cụ và sổ hướng dẫn lại hỏi một câu rất cơ bản là cách hạ yên xe đạp. Ai còn giữ sổ hướng dẫn xe đạp chứ, và đó là việc đứa con 5 tuổi của tôi cũng làm được
Chắc chắn phải có cách tốt hơn để cho thấy tác động mang tính đột phá của AI đối với nhân loại. Thậm chí như cách buộc dây giày cũng còn hơn
Nó cũng không phù hợp với các robot nhỏ và nhẹ như drone
Thông báo lần này có vẻ đã khiến khá nhiều startup định làm đa phương thức trên nền ChatGPT chết yểu
Nhìn tốc độ họ giải quyết cả các trường hợp dùng hình ảnh lẫn giọng nói, chẳng mấy chốc nó có thể trở thành một ứng dụng thống trị tất cả
Đã thấy viễn cảnh thay thế Alexa/Siri/Google Home, thay thế tìm kiếm hình ảnh của Google, và sự sụp đổ của các startup edtech cho phép chụp ảnh rồi dùng AI giải bài; có lẽ sẽ còn tiếp diễn
Không thể nói OpenAI đã công khai để lộ ý định, nhưng câu hỏi chiến lược đầu tiên lẽ ra phải là: “Tại sao OpenAI chưa làm việc này, và nếu họ quyết định làm thì chúng ta sẽ làm gì?”
Suốt mùa hè tôi đã muốn “vừa nói chuyện” với ChatGPT vừa học thêm tiếng Pháp, lý thuyết âm nhạc, lịch sử, toán học, v.v. Tính năng này có vẻ đúng thứ cần có
Hai hướng này thường sẽ đi cùng nhau
Ứng dụng vốn đã có nhập liệu bằng giọng nói. Hiện tại nó vẫn chuyển giọng nói thành văn bản trước khi gửi, nhưng làm tốt đến mức hầu như không cần kiểm tra hay sửa. Thậm chí tôi còn tự hỏi tại sao nó vẫn chưa trả lời bằng giọng nói
Nhập liệu bằng hình ảnh là trọng tâm và điểm nhấn trong công bố GPT-4 hồi tháng 3: https://openai.com/research/gpt-4
Nhiều doanh nghiệp, chính phủ, v.v. không thể dùng OpenAI vì chính sách nội bộ không cho gửi dữ liệu tới dịch vụ bên thứ ba. Họ sẽ trả tiền cho thứ có thể chạy on-premises hoặc trên private cloud riêng
Đây sẽ là con dao găm khiến giáo dục trực tuyến trở nên bất khả thi
Chỉ với ChatGPT, nếu sao chép và dán các bài toán dạng văn bản chuyên môn, bạn đã có thể nhận câu trả lời với độ chính xác 90%. Điểm yếu duy nhất là các câu hỏi có biểu đồ hoặc hình vẽ
Khi có hỗ trợ hình ảnh, học sinh chỉ cần tải lên ảnh chụp màn hình hoặc bản scan tài liệu và nhận câu trả lời hợp lệ từ ChatGPT. Theo tôi, nhiều học sinh sẽ sẵn sàng lạm dụng tính năng này. Để ứng phó, hoặc phải bỏ hệ thống chấm điểm, hoặc buộc quay lại giáo dục trực tiếp, nơi bài tập chỉ được làm ở trường dưới sự giám sát và không có bài tập về nhà
Công dụng lớn nhất của ChatGPT với tôi là tự học nhiều chủ đề. Có thể dùng nó như một buổi seminar kiểu Socrates, đặt câu hỏi cho ChatGPT để học X
Dĩ nhiên nó sẽ thay đổi mạnh khả năng tạo bài tập về nhà của học sinh, nhưng ngay từ đầu nó cũng có thể thay đổi mạnh cách học của học sinh. Nhờ gia sư hỗ trợ bằng AI, trường học trực tuyến có thể trở thành nhiều thứ hơn hiện nay rất nhiều
Có vẻ cũng có thể có một tương lai trong đó giáo dục phi tập trung hơn nhiều, học sinh tự chọn chương trình và phương pháp học, có cảm giác sở hữu và kiểm soát công việc của mình, nên không xem nó chỉ là “việc bận rộn”
Nếu những nhân tài xuất sắc nhất thời đại chúng ta đã quyết định rằng để loài người tiến bộ, tốt nhất là con người bị máy móc thay thế, thì tôi tự hỏi học hành ở trường còn có ý nghĩa gì
Nếu bây giờ bạn 16 tuổi, biết về ChatGPT và kế hoạch của OpenAI, vừa được bảo rằng phải học chăm chỉ để có việc tốt, đồng thời đọc thấy tương lai mà giới kỹ trị hình dung, hẳn sẽ khá hoang mang
Có lẽ lúc này muốn học mà vẫn không gian lận là điều thật sự khó
Trong lớp học trực tuyến, có lý do gì để nhất thiết phải xem video của người thật không? Có lý do gì để bắt học sinh tạo ra thứ gì đó trong một căn phòng tối không?
Việc đánh giá học sinh sẽ không dựa trên bài tập về nhà, mà dựa trên cuộc trò chuyện giữa trợ lý AI và học sinh. Việc dạy có thể được tự động hóa, nhưng việc học thì không
Hiện chỉ có một độ trễ thời gian khi giáo dục chưa bắt kịp, và vì giáo dục đắt đỏ nên chuyện này sẽ được giải quyết nhanh. Phụ huynh thật sự cần khuyến khích con cái luyện tập học tập như trước đây, còn ChatGPT nên được dùng như Wikipedia. Một thế hệ sẽ chịu đau đớn trong quá trình chuyển đổi
Nhu cầu cụ thể mà họ muốn giải quyết là dọn sạch bài tập về nhà hoặc bài luận để làm XYZ. Có lẽ XYZ sẽ không dùng ChatGPT. Vậy thì hãy biến thứ họ dành thời gian cho thành chính việc đó
Đến một lúc nào đó, họ sẽ học ngược lại những kỹ năng cần thiết và cần sự hướng dẫn cùng cấu trúc giáo dục. Điều đó không dễ, cũng không xảy ra nếu không có thời gian và nguồn lực, nhưng sự thích nghi sẽ diễn ra theo cách đó
Có những cách khiến gian lận trở nên khó đến mức không đáng làm. Tuy nhiên, công nghệ này sẽ thay đổi lớn việc chúng ta học gì và học như thế nào. Nó mang tính chuyển đổi, và tốc độ sẽ không chậm lại
Tôi không thích cách họ vô hiệu hóa tính năng duyệt web, tức tính năng chat Bing Browsing, suốt vài tháng rồi lặng lẽ gỡ bỏ
Giá mà có một thông báo đàng hoàng rằng họ sẽ gỡ tính năng này. Có thể tôi đã bỏ lỡ, nhưng thông tin chính thức cuối cùng tôi thấy là họ tạm thời vô hiệu hóa trong lúc sửa gì đó. Đến khi để ý lại thì nó đã biến mất hoàn toàn khỏi nền tảng mà không một lời nào
Tuy vậy, Perplexity AI dùng tìm kiếm web tốt hơn ChatGPT, nên vì lý do đó tôi dùng nó nhiều hơn ChatGPT
Cũng không phải plugin, mà là một “model” riêng có thể chọn
Trải nghiệm người dùng trực quan nhất ở mức killer app cho đến nay có vẻ là chat bằng văn bản
Việc đưa hình ảnh cho nó xem rồi tương tác cũng thú vị, giống như trò chuyện với bạn bè về một chủ đề nào đó, nhưng còn phải xem liệu cảm giác đó sẽ là nói chuyện với một người cực kỳ thông minh như ChatGPT, hay là nói chuyện với một người rất chậm hiểu nhưng nhận ra được vật thể ở mức nào đó
Nhận ra một cái cờ lê không ấn tượng bằng việc trò chuyện với ChatGPT về lịch sử hoặc bắt nó viết mã thực sự chạy được
OpenAI đang làm tốt. Mọi người nghĩ ra các trường hợp sử dụng thú vị, nhưng có vẻ cách chính mà đa số tương tác với AI vẫn là ChatGPT
Tuy nhiên, có vẻ họ vẫn chưa nắm được mảng tạo ảnh, và những thứ ấn tượng vẫn liên tục đến từ MidJourney và Stable Diffusion
Có vẻ còn có thể đưa cả văn bản là câu hoàn chỉnh vào trong ảnh đầu ra
Tôi đang làm vài dự án sở thích ghép nhiều dịch vụ AI lại với nhau để triển khai thứ này, nên rất mong chờ việc giảm bớt độ phức tạp và độ trễ do phải gọi qua gọi lại nhiều lần
Nếu API ra kịp, tức khoảng Halloween, thì phần mềm cho một dự án đa phương thức với đầu lâu biết nói gắn camera ESP32, chuyên nhìn trang phục của người ta rồi mỉa mai, có lẽ sẽ dễ hơn một chút
Với góc nhìn của người làm sâu trong lĩnh vực tự động hóa kiểm thử phần mềm, thứ tôi đang chờ là nhận diện hình ảnh dựa trên AI đủ vững chắc cho giao diện người dùng ứng dụng
Khi kết hợp với khả năng AI viết mã tự động hóa kiểm thử, tôi hy vọng chỉ từ một ảnh chụp màn hình hoặc một chuỗi ảnh chụp màn hình, nó có thể tạo ra mã kiểm thử Selenium hoặc Appium có thể chạy được. Cảm giác như gần tới nơi rồi
Họ nói có bộ dữ liệu màn hình-hành động-màn hình nội bộ, nhưng có lẽ sẽ không công bố. Chắc đây là lợi thế của việc sở hữu Android
Cũng có bài báo gần đây IDEFICS[2] của Hugging Face. Họ tuyên bố đây là bản triển khai mã nguồn mở của Flamingo, tức bài báo trước đây về việc hiểu tác vụ đa phương thức dựa trên ít ví dụ. Lĩnh vực này có vẻ sắp nóng lên
[1] https://research.google/pubs/pub52171/
[2] https://huggingface.co/blog/idefics
Điều tôi phàn nàn nhất về OpenAI/ChatGPT là marketing quá tệ
Khi họ công bố các tính năng hay plugin kiểu này, tôi háo hức vào dùng thử nhưng chúng vẫn chưa được triển khai cho tôi, và với tư cách khách hàng trả phí thì rất bực bội, vì việc duy nhất có thể làm là kiểm tra mỗi ngày
Họ cũng không gửi email kiểu “Bạn đã có thể dùng plugin”, “Tài khoản của bạn đã được bật chat bằng giọng nói”, nên nhiều khi tôi quên mất tính năng mới cho đến khi tình cờ xem lại sau đó
Vừa rồi tôi mở ứng dụng, vào “New Features” trong phần cài đặt thì thấy Bing Browsing bị vô hiệu hóa. Tôi thậm chí còn không biết nó từng hoạt động. Tôi tưởng có lẽ cần cập nhật ứng dụng nên vào App Store, nhưng đã là bản mới nhất; sau khi đóng rồi mở lại ứng dụng thì giờ mục “New Features” cũng biến mất luôn
Tôi sẽ không thường xuyên lục lọi cài đặt ứng dụng để xem có tính năng mới hay không. Thật sự khó hiểu khi không có email hay thông báo đẩy, thậm chí cả thông báo trong ứng dụng cũng không có
Không phải là họ không quan tâm đến giao tiếp với khách hàng, nhưng bên trong chắc hẳn đang hoàn toàn hỗn loạn và rối tung
Để bắt đầu dùng API, tôi thực sự đã phải hủy đăng ký rồi đăng ký lại. Có lẽ tôi đang nằm trong một phiên bản cũ của mô hình tính phí trước đó
Tôi thích những công ty thành công không phải nhờ marketing và thiết kế, mà bất chấp chúng. Điều đó có nghĩa là họ thật sự có thứ gì đó đặc biệt
Nếu bạn cứ rời đi rồi quên luôn thì họ cần cải thiện tỷ lệ giữ chân, nhưng bạn sẽ không làm vậy, nên họ không cần
Tôi không hiểu làm sao có thể đóng gói tất cả những thứ này với giá 20 đô la mỗi tháng. Khi đạt quy mô lớn, chi phí tính toán thật sự rẻ đến vậy sao?
Tôi cũng tò mò Apple và Google sẽ cung cấp thứ này miễn phí như thế nào. Tôi muốn lén ở trong cuộc họp đó như một con ruồi. Họ hẳn sẽ tranh luận rất nhiều kiểu bài toán tiến thoái lưỡng nan của nhà đổi mới, giữa “phải làm” và “ăn mòn biên lợi nhuận”
Có thể hơi suy diễn, nhưng tôi nghĩ Apple dường như đang lựa chọn đúng khi để bụi lắng xuống. Giống như Zuckerberg đã đốt 20 tỷ đô la rồi Apple tung ra Vision Pro, tôi nghĩ chuyện tương tự có thể xảy ra với Llama. Tuy nhiên, phần mềm là sân nhà của Facebook còn phần cứng thì không, nên tôi không quá chắc chắn
Nhưng nếu xét khoản đầu tư 10 tỷ đô la của Microsoft cùng doanh thu từ thuê bao và API, trước mắt họ vẫn ổn. Đây là thời khắc quan trọng với các công ty AI, và OpenAI thực chất đang cố giành càng nhiều thị phần càng tốt bằng cách cung cấp giá trị gấp 10 lần với mức giá thấp hơn các mô hình thương mại khác
Vốn đầu tư mạo hiểm đang trợ giá cho việc chiếm lĩnh thị trường
Chỉ cần nghĩ xem nếu thuê một lượng lớn tester thì sẽ phải trả bao nhiêu tiền