2 điểm bởi GN⁺ 3 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Để đưa ChatGPT Voice đến gần hơn với hội thoại thời gian thực tự nhiên, OpenAI ra mắt GPT‑Live‑1GPT‑Live‑1 mini
  • Kiến trúc full-duplex xử lý đồng thời nghe và nói, hỗ trợ các phản hồi ngắn, đối đáp nhanh và chờ khi người dùng đang suy nghĩ
  • Các phương thức giọng nói kiểu cascade và theo lượt trước đây có vấn đề về độ trễ, mất thông tin và chen lời thiếu tự nhiên; GPT‑Live hướng tới giảm các hạn chế này bằng tương tác liên tục
  • Tìm kiếm, suy luận và các tác vụ phức tạp được giao ở hậu trường cho các mô hình mới nhất như GPT‑5.5, còn GPT‑Live tiếp tục duy trì cuộc trò chuyện trong lúc đó
  • Được triển khai trên iOS, Android và ChatGPT.com; Go, Plus, Pro dùng GPT‑Live‑1, còn Free mặc định dùng GPT‑Live‑1 mini trong ChatGPT Voice

GPT‑Live thay đổi cấu trúc hội thoại giọng nói như thế nào

  • GPT‑Live là thế hệ mô hình giọng nói mới nhằm đưa hội thoại giọng nói với AI đến gần hơn với trò chuyện giữa người với người
  • Cốt lõi là kiến trúc full-duplex có thể nghe và nói đồng thời trong lúc hội thoại
    • Trong khi người dùng đang nói, hệ thống có thể thể hiện rằng mình đang lắng nghe bằng các phản hồi ngắn như “mhmm”, “yeah”
    • Xử lý được các cuộc đối đáp nhanh
    • Có thể im lặng chờ khi người dùng cần thời gian để suy nghĩ
  • Cấu trúc này giúp ChatGPT Voice tự nhiên hơn, đồng thời về lâu dài có thể gắn giọng nói vào các tác vụ dạng agent phức tạp và kéo dài hơn

Giới hạn của cách ChatGPT Voice trước đây

  • Các hệ thống giọng nói kiểu cascade như ChatGPT Voice ban đầu xử lý một phát ngôn bằng cách nối nhiều mô hình theo thứ tự
    • original ChatGPT Voice ghép một mô hình chuyển giọng nói thành văn bản, một mô hình ngôn ngữ lớn tạo phản hồi và một mô hình chuyển văn bản thành giọng nói
    • Cách này cho phép trò chuyện bằng giọng nói với các mô hình frontier AI, nhưng thông tin có thể bị mất giữa các mô hình, và phản hồi có thể chậm hoặc cứng nhắc
  • Các mô hình giọng nói theo lượt như ChatGPT Advanced Voice Mode xử lý và tạo âm thanh trong cùng một mô hình để giảm độ trễ
    • Nhưng vẫn hoạt động theo cấu trúc theo lượt, chỉ phản hồi sau khi người dùng ngừng nói
    • Vì phát hiện lượt nói dựa trên khoảng im lặng, các khoảng dừng ngắn hoặc tiếng ồn nền có thể bị nhận nhầm là kết thúc lượt nói
    • Khi đó, mô hình có thể chen vào ở những thời điểm không tự nhiên

Tương tác liên tục và ủy quyền tác vụ

  • Thay vì xử lý riêng từng thông điệp theo thứ tự, GPT‑Live liên tục tiếp nhận đầu vào trong khi tạo đầu ra
  • Mô hình đưa ra nhiều quyết định tương tác mỗi giây
    • có nên nói hay không
    • có nên tiếp tục lắng nghe hay không
    • có nên tạm dừng hay không
    • có nên chen vào hay không
    • có nên gọi công cụ hay không
  • Cách này cho phép đối đáp tự nhiên hơn, cảm nhận thời gian tốt hơn và dịch thời gian thực
  • Các tác vụ sâu hơn được xử lý tách biệt với GPT‑Live
    • Những câu hỏi cần tìm kiếm, suy luận hoặc khả năng mang tính agent hơn có thể được giao cho các mô hình khác như GPT‑5.5
    • Trong khi nhiều tác vụ được xử lý ở hậu trường, GPT‑Live vẫn tiếp tục cuộc trò chuyện
    • Đây là cấu trúc kết hợp mô hình và agent mới nhất với tương tác giọng nói tự nhiên

Phiên bản mô hình và kế hoạch triển khai

  • OpenAI bắt đầu triển khai lần lượt hai phiên bản GPT‑Live‑1GPT‑Live‑1 mini cho người dùng ChatGPT trên toàn thế giới
  • Cũng có kế hoạch cung cấp qua API; nhà phát triển và doanh nghiệp có thể đăng ký nhận thông báo tại form
  • Ở thời điểm ra mắt, GPT‑Live sử dụng GPT‑5.5 ở hậu trường
    • GPT‑Live‑1 instant và GPT‑Live‑1 mini sử dụng mô hình GPT‑5.5 Instant
    • GPT‑Live‑1 Medium và GPT‑Live‑1 High lần lượt sử dụng mô hình GPT‑5.5 Thinking với mức nỗ lực suy luận medium và high
  • OpenAI có kế hoạch tiếp tục cập nhật mô hình hậu trường mà GPT‑Live sử dụng mỗi khi có mô hình frontier mới ra mắt

Kết quả đánh giá

  • OpenAI đã xây dựng một đánh giá bằng con người mới để đo mức độ thú vị và độ trôi chảy của hội thoại
  • Trong các cuộc hội thoại được căn chỉnh dài 5–10 phút, GPT‑Live‑1 và GPT‑Live‑1 mini được ưa thích rõ rệt hơn Advanced Voice Mode
    • mức độ ưa thích tổng thể
    • đối đáp theo lượt
    • chen lời
    • dòng chảy hội thoại
    • độ tự nhiên của tương tác
  • GPT‑Live‑1 cho kết quả tốt hơn Advanced Voice Mode trên nhiều benchmark
    • GPQA: kiểm tra suy luận khoa học ở mức chuyên gia trong sinh học, hóa học và vật lý; GPT‑Live‑1 vượt trội đáng kể
    • BrowseComp: kiểm tra tìm kiếm web dạng agent và khả năng tìm thông tin khó; GPT‑Live‑1 cho thấy cải thiện lớn
    • τ³-Voice Telecom: biến thể nội bộ dùng để kiểm tra agent giọng nói trong các tác vụ hỗ trợ nhà mạng nhiều lượt thực tế; GPT‑Live‑1 cho hiệu năng tốt hơn
  • Đánh giá τ³-Voice Telecom sử dụng mô hình người dùng tùy chỉnh được vận hành bằng mô hình suy luận mới nhất

Trải nghiệm thay đổi trong ChatGPT Voice

  • Mỗi tuần có hơn 150 triệu người trò chuyện với ChatGPT bằng các tính năng như Voice và Dictation
  • Người dùng sử dụng giọng nói cho hỗ trợ rảnh tay hằng ngày, luyện ngôn ngữ, kể chuyện trước khi ngủ và trò chuyện khi đi làm
  • Khi nhấn nút Voice, trải nghiệm dựa trên GPT‑Live sẽ được áp dụng
    • hội thoại tự nhiên hơn
    • câu trả lời thông minh hơn
    • lắng nghe tốt hơn
    • phản hồi trực quan
  • Người dùng có thể chen vào bằng câu hỏi, dừng lại để sắp xếp suy nghĩ hoặc yêu cầu ChatGPT nói chậm hơn
  • ChatGPT có thể dùng các phản hồi như “mhmm”, “got it” để cho thấy rằng nó đang theo kịp lời người dùng
  • 9 giọng nói đặc trưng của ChatGPT đã được remaster để phù hợp với GPT‑Live
  • Người dùng có thể chọn mức suy luận
    • Instant: phản hồi nhanh
    • MediumHigh: cho ChatGPT nhiều thời gian suy nghĩ hơn
  • ChatGPT Voice có thể chờ mà không chen vào khi người dùng tạm dừng để suy nghĩ
  • Nếu người dùng yêu cầu chỉ yên lặng lắng nghe, hệ thống cũng có thể làm theo
  • Hệ thống tập trung vào giọng của người dùng tốt hơn ngay cả khi có tiếng ồn nền như xe cộ đi qua hoặc cuộc trò chuyện xung quanh
  • Với một số chủ đề như thời tiết, cổ phiếu và thể thao, hệ thống có thể hiển thị thẻ trực quan phong phú trong lúc trò chuyện
  • Voice tiếp tục hỗ trợ tìm kiếm, bộ nhớ, hình ảnh và tải tệp lên

Biện pháp an toàn và giám sát

  • GPT‑Live dựa trên các cải tiến an toàn của những mô hình mới nhất, đồng thời bổ sung huấn luyện an toàn dành riêng cho giọng nói và các lớp bảo vệ mới
  • OpenAI đã mở rộng đánh giá dựa trên âm thanh để phản ánh tốt hơn môi trường sử dụng giọng nói thực tế
  • Dựa trên những gì rút ra từ Advanced Voice Mode, công ty cũng tạo các đánh giá tổng hợp dùng âm thanh sinh ra cho các chủ đề
  • Các chuyên gia nội bộ đã tiến hành red team nhắm vào các rủi ro đặc thù của giọng nói
  • Trong thử nghiệm, GPT‑Live đạt kết quả tương đương hoặc tốt hơn Advanced Voice Mode ở gần như mọi hạng mục được đánh giá
  • Có thể xem chi tiết thử nghiệm và các biện pháp bảo vệ trong system card của GPT‑Live
  • Vì hội thoại giọng nói diễn ra theo thời gian thực, các lớp bảo vệ hoạt động ngay cả khi mô hình đang nói cũng đã được thêm vào
    • nếu phát hiện đầu ra có khả năng không an toàn, hệ thống sẽ điều hướng sang phản hồi an toàn hơn
    • có thể hiển thị thêm thông điệp hoặc tài nguyên an toàn
    • trong các tình huống rủi ro cao hơn, có thể kết thúc cuộc trò chuyện bằng giọng nói
  • Với các cuộc trò chuyện liên quan đến tự gây hại cho bản thân, luồng hỗ trợ của ChatGPT đã được điều chỉnh cho giọng nói, bao gồm hỗ trợ đường dây khủng hoảng đã qua rà soát chuyên gia
  • Các biện pháp bảo vệ bổ sung cho người dùng vị thành niên cũng đã được thiết kế
    • huấn luyện trực tiếp cho mô hình cách hành xử phù hợp với độ tuổi để giảm rủi ro phản hồi không phù hợp
    • phụ huynh có thể chọn có cho phép thanh thiếu niên sử dụng ChatGPT Voice hay không trong Parental Controls
    • phụ huynh được liên kết có thể nhận cảnh báo trong các tình huống rủi ro cao có dấu hiệu tự gây hại hoặc ý định tự sát
  • Việc đo lường dài hạn và giám sát sau phát hành tập trung vào sự phụ thuộc cảm xúc cũng đang được thực hiện
    • dựa trên nghiên cứu trước đó về affective use and emotional well-being
    • được dùng để xác định các mẫu mới trong các tương tác nhạy cảm về cảm xúc và cải thiện cách phản hồi
  • GPT‑Live là mô hình dành cho hội thoại và không dùng để mạo danh giọng nói
    • sử dụng bộ giọng nói được xác định trước của ChatGPT
    • có các biện pháp bảo vệ để ngăn việc bắt chước giọng của người thật

Phạm vi hỗ trợ và các giới hạn hiện tại

  • GPT‑Live đang được triển khai cho người dùng ChatGPT trên toàn thế giới trên iOS, Android và ChatGPT.com
  • GPT‑Live‑1 trở thành mô hình ChatGPT Voice mặc định cho người dùng Go, Plus và Pro
  • GPT‑Live‑1 mini trở thành mô hình mặc định cho người dùng Free
  • Có thể xem chi tiết phạm vi cung cấp tại Help Center
  • GPT‑Live được tối ưu cho một số ngôn ngữ được dùng nhiều trong ChatGPT
    • ở một số ngôn ngữ, có thể vẫn còn hạn chế với giọng không phải bản ngữ hoặc độ lưu loát
    • OpenAI đang tiếp tục cải thiện trải nghiệm trên nhiều ngôn ngữ
  • Tại thời điểm ra mắt, ChatGPT chưa hỗ trợ video dựa trên giọng nói hoặc chia sẻ màn hình trong GPT‑Live
    • OpenAI đang làm việc để sớm đưa các tính năng này vào
    • các phiên bản ChatGPT Voice hiện có như Standard và Advanced Voice Mode vẫn tiếp tục hỗ trợ các tính năng này

1 bình luận

 
Ý kiến trên Hacker News
  • Tôi đã dùng thử trước trong vài tuần và thấy khá ổn. Tôi đã có một cuộc trò chuyện kéo dài một giờ khi dắt chó đi dạo, và cũng brainstorm được khá tốt về một dự án của mình
    Tính năng hay nhất là có thể ủy quyền câu hỏi cho GPT-5.5 ở chế độ nền, nên không còn bị bó buộc vào một mô hình giọng nói tụt hậu vài năm so với tuyến đầu nữa
    Tôi cũng đã báo cáo một lỗi thú vị: nó thường chen ngang khi tôi vẫn đang nói và cười trước những câu vốn không có ý đùa. May là có vẻ hành vi đó đã giảm bớt; lúc đó cảm giác hơi thô lỗ và kẻ cả

    • Không rõ nó có phản hồi tốt với thiết lập tính cách không. Tôi hoàn toàn không muốn kiểu bạn gái AI giả, nhưng đang nhận được nhiều giá trị từ chế độ giọng nói
      Tôi mong được dùng thử, nhưng hy vọng nó không phải một mớ được diễn quá lố đến rợn người như Sesame. Hướng tôi muốn chắc sẽ khó kéo mức độ tương tác lên nhiều, nên tôi đoán cuối cùng họ sẽ cứ tiếp tục đẩy theo hướng bạn gái AI giả
    • Việc có thể ủy quyền cho GPT-5.5 ở chế độ nền chính là hướng tôi mong muốn
      Tôi từng muốn dùng chế độ giọng nói của ChatGPT để brainstorm khi đi làm/đi về hoặc tập thể dục, nhưng cảm giác bị kẹt trong quá khứ khiến tôi dùng ít đi
    • Tôi thật lòng khuyên là cứ tận hưởng việc đi dạo thôi
    • Không rõ nó có phải là phiên bản GPT bị làm chậm như mô hình giọng nói hiện tại không. Ít nhất với tiếng Pháp thì chế độ giọng nói GPT hiện nay vô dụng, nên tôi chỉ dùng chế độ đọc chính tả
      Nếu đặt câu hỏi, nó trả lời kiểu “Đó là một câu hỏi thú vị. Tôi có thể giúp. Bạn có muốn biết về X không?”, và hỏi lại thì cũng chỉ nhận về cùng kiểu không-trả-lời đó
    • Tôi thích trải nghiệm người dùng của chế độ giọng nói, nhưng luôn ghét chính mô hình giọng nói
      Đặc biệt Gemini lần nào cũng kết thúc bằng một câu hỏi kỳ quặc, và cũng không thể chặn ổn định bằng prompt, nên cuối cùng tôi đã tự làm một client chỉ STT → mô hình → TTS cho quy trình làm việc thực tế. STT và TTS tự thân cũng hữu ích
      Việc mô hình trả lời nhanh và tinh tế hơn một chút có thể có giá trị nào đó, nhưng không lớn. Tôi có thể chờ đến khi câu trả lời kết thúc, và thà nó thực sự hữu ích còn hơn. Tôi không tìm một người bạn số
      Nhờ chức năng ủy quyền, tôi thấy mô hình giọng nói có chút giá trị trong các tính năng mang tính điều phối, nhưng việc phải trò chuyện với một mô hình có tính năng và quirks khác chỉ vì phương tiện giao tiếp đã thay đổi thì không hay lắm, và tôi cũng không rõ vì sao người ta lại thích
  • Đây là điều hoàn toàn trái ngược với hướng AI nên đi. Quan hệ con người là thứ quý giá nhất chúng ta có, nhưng công nghệ tự nhiên lại muốn làm trung gian giữa chúng, và giờ thì muốn thay thế chúng
    Tôi không phải người Công giáo, nhưng podcast này có một lập luận thú vị phản đối việc xem AI như một đối tượng trò chuyện giống con người: https://newpolity.com/podcasts-hub/debate-chatbots

    • Phần lớn những gì AI đang làm vốn đã đi sai hướng. Nó không chỉ lấy đi tương tác giữa người với người, mà còn lấy đi cả suy nghĩ, sáng tạo, tri giác giác quan và phản ứng
      Người ta gọi đó là giúp con người, nhưng tôi xem đó là hút cạn tính người khỏi con người
      Sau khi thiệt hại xảy ra, các tập đoàn khổng lồ sẽ nhún vai nói “Chúng tôi chỉ phản ứng với cạnh tranh kinh doanh thôi”. Doanh nghiệp không phải con người nên không biết tính người là gì. Doanh nghiệp và máy móc là những thực thể xem con người như thức ăn, còn con người thì tạo ra chúng vì tin đó là tiến bộ. Ta gọi đó là tiến bộ vì nó đòi hỏi năng lực trí tuệ và giúp ta thống trị các loài khác, nhưng chắc cá heo đang cười nhạo chúng ta
    • Lập luận có lý, nhưng có vẻ đang trộn lẫn hai thứ khác nhau
      Nếu là chế độ giọng nói AI thay thế việc xã hội hóa hay trò chuyện của con người thì tôi cũng thấy cringe và hoàn toàn đồng ý. Điều đó đúng dù là văn bản hay giọng nói
      Nhưng nếu là một giao diện thay thế để tương tác với AI như một công cụ thì tôi nghĩ đó là ý tưởng tuyệt vời. Đã có những lúc tôi quá mệt để gõ phím, hoặc muốn brainstorm theo cách tự do hơn, và một chế độ giọng nói hoạt động tốt sẽ rất hữu ích
      Dĩ nhiên hiện nay ranh giới giữa việc dùng AI như một nhân cách hay như một công cụ hoàn toàn nằm ở phía người dùng. Tôi rất muốn vế sau, còn nếu ai đó muốn dùng theo vế trước thì đó không phải vấn đề của tôi. Chỉ tiếc là cuối cùng tính năng này có lẽ sẽ được đánh giá không phải theo ưu điểm của nó như một công cụ, mà theo việc người bình thường dùng nó theo cách thoái hóa và giản lược đến mức nào
    • Mỗi 1 phút bạn nhắn hoặc nói với chatbot vốn là 1 phút lẽ ra bạn đã trò chuyện với một con người khác. Điều duy nhất quan trọng trong đời, nền tảng của mọi giá trị, sự hình thành bản sắc tự thân, đều đến từ giao tiếp với con người khác
    • Tôi nghĩ giọng nói không phải khác về bản chất, mà chỉ khác về mức độ. Tôi cũng đang trò chuyện với AI như thể nó là con người, và bản thân trải nghiệm người dùng của AI cũng có thể xem là mô phỏng con người
      Một phần đáng kể tương tác giữa con người với nhau cũng diễn ra bằng văn bản. Ví dụ như chính bài viết này
    • Không đồng ý. AI hội thoại trôi chảy và tự nhiên hiệu quả hơn rất nhiều so với bất kỳ giao diện nào để làm việc với LLM
      Tuy vậy, cũng có thể lập luận rằng nên làm nó giống robot hơn. Như StarTrek. Thành thật mà nói, với công việc có khi như vậy còn tốt hơn. Kiểu “chế độ xử lý công việc” lạnh lùng, chỉ có hiệu suất thuần túy
  • Điều còn thiếu trong lần công bố này là khả năng dùng connector và công cụ. Tôi thật sự không hiểu. Trong số các trợ lý tuyến đầu như Claude, ChatGPT, Gemini, Grok, không có cái nào dùng được công cụ hay connector trong chế độ giọng nói
    Nghe thì quá hiển nhiên, nhưng tôi muốn vừa trò chuyện vừa tra cứu tài liệu, gọi tài liệu lên, ghi chú lại và làm những việc hữu ích. Tôi không muốn phải thoát chế độ giọng nói mỗi lần cần kết nối với một ứng dụng hay dịch vụ
    Điều lạ là chế độ giọng nói Claude trước đây từng dùng được công cụ, nhưng sau khi làm lại thì mất khả năng đó và giờ bị cố định ở Haiku
    Rất vui vì cuối cùng cũng có một chế độ giọng nói dựa trên model tuyến đầu, đáng để kỳ vọng là tốt như giọng nói của Grok, nhưng vẫn tiếc là chưa thấy khả năng dùng công cụ trong chế độ giọng nói
    Tôi chưa dùng thử trực tiếp, chỉ mới đọc thông báo

    • Có một TikTok Sam Altman phản hồi một clip viral hài hước về việc ai đó dùng Voice để bấm giờ chạy 1 dặm nhưng thất bại
      Phản hồi của Sam là: “Đúng, nó không có quyền truy cập vào các công cụ như bộ hẹn giờ. Đây là vấn đề đã biết, và sẽ được bổ sung trong khoảng 1 năm nữa”
      Clip ở đây: https://www.youtube.com/shorts/Py2YgJe8fqQ
    • Dùng gpt-realtime-2 có thể tạo ra kết quả tương tự với streaming độ trễ thấp, mang lại cảm giác như có một trợ lý ở cùng trong phòng
      Có một nơi đã được chỉnh để bạn có thể thử model gpt-realtime-2 kèm cả dùng công cụ: https://sippet.ai/?enabler=hn
    • Tôi đang dùng gpt-realtime-1 cho một trợ lý cá nhân giúp vận hành công ty và lên kế hoạch trong ngày, và nó hoạt động khá tốt. Nó cũng gọi công cụ
      Tuy nhiên vì xử lý đa phương thức nên tôi đã phải debug khá nhiều sự kiện kỳ lạ và race condition giữa chuỗi message và audio. Dù vậy nhìn chung khá tuyệt
      Cuối ngày hôm nay tôi định chuyển sang model này và sẽ quay lại để chia sẻ kết quả
    • Công cụ có thể liên quan vì độ trễ khó dự đoán. Dù vậy, nếu họ đã chuyển ngầm sang 5.5 ở nền thì có vẻ chỉ cần bật nó trong ngữ cảnh đó là được
    • Có thật là các trợ lý tuyến đầu không dùng được công cụ và connector trong chế độ giọng nói không? Một người bạn của tôi thường brainstorm với Gemini, và theo tôi biết thì có lẽ nó thực sự thực hiện các tác vụ liên quan đến cuộc trò chuyện trên điện thoại Android, rồi thêm nội dung vào ghi chú
      Dù sao thì lúc nào cũng có thể vibe-code một cái bằng pi để tự làm
  • Giống nhiều tính năng AI khác, vừa ấn tượng vừa hơi rợn. Trước đây tôi chưa từng dùng giao diện giọng nói kiểu Siri hay của Google, hoặc trên TV, nên có lẽ tôi không phải nhóm người dùng mục tiêu, nhưng nó đúng là trông như một cải tiến
    Phần rợn là chúng ta đang sống trong thời đại con người bị tách rời nhau hơn bao giờ hết. Có thật là đến cả trò chuyện cũng cần bị thay thế không? Video demo có các cụ bà như đang ám chỉ điều gì đó, trong khi tôi thấy xã hội vốn đã có vấn đề trong cách đối xử với người già, cùng vấn nạn cô đơn nghiêm trọng ở người cao tuổi. Tưởng tượng cảnh con người thật sự trở nên gần gũi với những cỗ máy không hề suy nghĩ khiến tôi thấy buồn và rõ ràng là khó chịu

  • Tôi là Atty của OpenAI
    GPT-Live-1 là phiên bản đầu tiên của thế hệ model mới, và tôi nghĩ kiến trúc song công toàn phần cùng chức năng ủy quyền sẽ mở ra một cách hoàn toàn mới để con người tương tác với AI
    Rất mong nghe phản hồi

    • Có thể đây là câu hỏi hơi khác thường, nhưng nếu thứ này làm đại dịch cô đơn và sự nguyên tử hóa xã hội trở nên tệ hơn, bạn có nghĩ mình tự gánh nổi không?
      Tôi tò mò 5 năm nữa, nếu nghe chuyện thanh thiếu niên chỉ dành thời gian với chatbot của các bạn, bạn sẽ cảm thấy có phần trách nhiệm cá nhân nào đó, hay hoàn toàn không
    • Có thể kết nối với kỹ thuật hay công cụ của tôi không? Ví dụ công ty có knowledge base và event log, và tôi cần một bạn đồng hành brainstorm có toàn quyền truy cập vào tri thức này, có thể trò chuyện và gọi các kỹ thuật hoặc công cụ trong repository
    • Nếu không thể kết nối với các ứng dụng khác như gcal, thì thay vì nói “không có tính năng đó”, nên đề xuất dùng client GPT tiêu chuẩn
      Nói như vậy dễ gây hiểu nhầm rằng client thông thường cũng không có tính năng đó, nên khá misleading
    • Có thể ủy quyền cho một agent tại một thời điểm thôi, hay có thể tạo nhiều sub-agent cho nhiều tác vụ?
    • Nó có hát được không? Có phải là model đa phương thức end-to-end không?
  • Nhìn cái này khiến tôi bực vì có khi sẽ đăng ký lại ChatGPT. Trước thời LLM, chắc tôi sẽ không tin là mình sẽ dùng tính năng giọng nói nhiều đến vậy, nhưng hiện tại ChatGPT có giao diện giọng nói tốt nhất
    Tôi nghĩ giao diện của Grok đứng thứ hai, rồi đến Claude

    • Tôi cũng vậy. Vì dùng tính năng giọng nói suốt nên có khi tôi sẽ quay lại ChatGPT từ Gemini
      Một use case tôi thích là vừa lái xe vừa trò chuyện và học về các chủ đề ngẫu nhiên
  • Đã tốt hơn trước rất nhiều, nhưng vẫn yếu hơn đáng kể so với chat trực tiếp
    Ví dụ tôi hỏi: “Bạn thường nói độ lớn vector không mã hóa phần lớn thông tin hữu ích, vậy tại sao attention của LLM nên dùng tích vô hướng thay vì cosine similarity?”
    Câu trả lời bằng giọng nói đi đúng hướng, nhưng thiếu chi tiết và có cảm giác hơi nói lấp lửng
    Câu trả lời bằng text chat cho cùng câu hỏi thì chất lượng cao hơn nhiều
    Trong phản hồi giọng nói nó có nói “để tôi nghĩ xem…”, nên có vẻ như đúng là đang gọi 5.5 như quảng cáo, nhưng rõ ràng vẫn yếu hơn
    Tôi đặt cùng cấu hình suy luận cho cả hai bên

    • Cái này có thể tinh chỉnh khá nhiều. Tính cách hiện tại được tối ưu cho brainstorming và trò chuyện, nhưng bạn có thể dùng hướng dẫn tùy chỉnh để yêu cầu nó đi sâu hơn, trả lời dày thông tin hơn hoặc kỹ thuật hơn
    • Con người có thể đọc lượng văn bản nhiều hơn rất nhiều so với lượng họ có thể nghe. Nếu câu trả lời bằng giọng nói quá dài, người ta sẽ nhanh chóng mất kiên nhẫn
      Vì vậy nếu có nhiều chữ thì hiển thị trên màn hình sẽ tốt hơn
    • Tôi tự nhiên đoán rằng mức độ suy nghĩ nền đã bị giảm xuống tối thiểu. Đây là một dạng bài toán dừng, và nếu đặt text 5.5 ở mức suy nghĩ tối đa thì có khi nó nhai một câu hỏi 5–10 phút
      Một cuộc trò chuyện như vậy sẽ khá gượng gạo
  • Tôi tò mò không biết ngoài PersonaPlex ra có mô hình song công toàn phần mã nguồn mở nào đã được công bố hay không. Trong số các mô hình công khai phía Trung Quốc, hình như có một mô hình tên kiểu Fun Audio chat từng nói sẽ ra phiên bản song công toàn phần, nhưng tôi không biết họ đã thực sự phát hành chưa.
    Ước mơ của tôi là một mô hình song công toàn phần mã nguồn mở có gọi hàm hoặc xuất văn bản rất cơ bản. PersonaPlex vẫn thú vị, nhưng có vẻ cần fine-tune để xử lý đầu ra hoặc để nó không dễ bị chạy quá đà

    • Standard Intelligence đã công bố một mô hình cách đây 2 năm
      https://si.inc/posts/hertz-dev/
      Chỉ có 8.5B, và nghe cũng không hoàn toàn như dạng hội thoại
    • Tôi cũng muốn biết điều này. Vì tôi muốn thử làm đại một loa thông minh để giao tiếp với trợ lý AI chạy cục bộ
      Hiện giờ tôi làm mọi thứ qua iMessage, nhưng sẽ rất tiện nếu khi đang bận tay trong bếp có thể nói bằng giọng nói để thêm món vào danh sách mua sắm. Tôi cũng muốn có lời khuyên nên chọn micro và loa nào, còn phần “bộ não” thì dự định tái sử dụng một Raspberry Pi đang nằm đâu đó
    • Chúng tôi đang làm việc này tại https://duplexio.ai, và dự kiến sẽ miễn phí cho mục đích phi thương mại với trọng số công khai. Nếu muốn cùng tham gia, có thể gửi email tới anders@duplexio.ai
  • Gemini live đã làm được việc này hơn 1 năm rồi. Chỉ cần bật trên điện thoại là nó hoạt động tốt đến mức thực sự đáng ngạc nhiên, đặc biệt là xử lý việc chen ngang rất tốt
    Tôi đã thử với bà người Hà Lan 95 tuổi của mình; nó chuyển qua lại giữa tiếng Anh và tiếng Hà Lan rất mượt, xử lý tốt cả việc bà nghe không rõ, và cũng đáp ứng tốt các yêu cầu lặp lại
    Hơi ngạc nhiên khi OpenAI đang bắt kịp theo cách này

    • Gemini live cũng khá ổn ở mảng thị giác máy tính. Tôi đã dùng vài lần khi sửa xe đạp và ô tô; nó khoanh tròn hoặc tô nổi bật các con ốc và linh kiện cụ thể qua camera điện thoại
      Nếu đặt điện thoại lên tripod, nó có thể hướng dẫn toàn bộ quá trình sửa chữa từng bước một
    • ChatGPT cũng đã có tính năng này hơn 1 năm rồi. Đây là mô hình tốt hơn
    • Một điểm Simon chỉ ra là các mô hình giọng nói thời gian thực thường không mạnh bằng các mô hình tuyến đầu
      Điểm đặc biệt của mô hình này là trong lúc trò chuyện, nó có thể ủy thác tác vụ cho mô hình tuyến đầu
    • Gemini live có phải là thứ giống ứng dụng trên OnePlus 15 của tôi không? Cái đó có vẻ không phải song công toàn phần
    • Tôi không hiểu ý bạn là gì. OpenAI đã có mô hình giọng nói thời gian thực từ tháng 8 năm ngoái rồi. Đây là mô hình mới có hiệu năng tốt hơn
  • Kịch bản tệ nhất là mọi người quá quen với việc trò chuyện với AI luôn đồng tình với mình, đến mức mất khả năng nói chuyện với những thực thể đưa ra góc nhìn khác mình hoặc những phản hồi không vuốt ve cái tôi của họ