Tôi đã thêm một tính năng mà ChatGPT tưởng nhầm là có thật

• ChatGPT đã hướng dẫn về một tính năng không tồn tại, khiến thực tế có rất nhiều người dùng tải ASCII Tab lên Soundslice
• Dịch vụ gốc của Soundslice chỉ hỗ trợ quét bản nhạc dựa trên hình ảnh, nhưng do hướng dẫn từ ChatGPT, số yêu cầu hỗ trợ ASCII Tab đã tăng vọt
• Để giảm bớt hiểu lầm về sản phẩm, công ty đã thực sự bổ sung tính năng importer cho ASCII Tab
• Có thể xem đây là trường hợp đầu tiên mà AI phát tán thông tin sai lệch rồi ảnh hưởng cả đến định hướng sản phẩm thực tế
• Bản thân việc thêm tính năng là điều có ích cho người dùng, nhưng tác giả có cảm xúc lẫn lộn trước thực tế việc phát triển sản phẩm bị chi phối bởi 'thông tin sai'

---

Bối cảnh và vấn đề

• Sheet Music scanner của Soundslice số hóa bản nhạc từ ảnh để người dùng có thể nghe, chỉnh sửa và luyện tập
• Để cải thiện hệ thống, công ty theo dõi nhật ký lỗi, và gần đây ngày càng có nhiều trường hợp người dùng tải lên ảnh chụp màn hình ASCII tab từ các cuộc trò chuyện ChatGPT thay vì ảnh bản nhạc truyền thống
  • ASCII tab là một cách ký âm rút gọn dành cho guitar và các nhạc cụ dây khác
• Ban đầu, định dạng ASCII Tab là tính năng mà dịch vụ Soundslice hiện tại không hỗ trợ

Xác định nguyên nhân

• Trong lúc tìm nguyên nhân vì sao có quá nhiều ảnh chụp màn hình ASCII tab từ nhiều nguồn khác nhau được tải lên, tác giả đã tự hỏi ChatGPT và kiểm thử trực tiếp
• Tác giả trực tiếp xác nhận rằng ChatGPT đã hướng dẫn sai cho người dùng rằng họ có thể nhập ASCII tab vào Soundslice rồi nghe âm thanh

Việc không có tính năng và sự hiểu lầm

• Thực tế Soundslice không cung cấp tính năng nhập trực tiếp ASCII tab
• Dù tính năng đó không hề tồn tại, nhiều người dùng vẫn tin vào hướng dẫn của ChatGPT và đăng ký cũng như thử tải lên
• Do câu trả lời sai của ChatGPT, kỳ vọng của người dùng về dịch vụ của công ty đã bị hình thành sai lệch
• Vì vậy, các khiếu nại và câu hỏi về một tính năng thực tế không tồn tại vẫn liên tục phát sinh

Quyết định và cách ứng phó

• Trong tình huống này, công ty đã cân nhắc nên phản ứng ra sao
• Có thể gắn thông báo trên dịch vụ rằng “câu trả lời của ChatGPT là sai”, nhưng vì đánh giá nhu cầu thực tế của người dùng là lớn, công ty đã phát triển tính năng importer cho ASCII tab
• Đây vốn là một tính năng nằm ở nhóm ưu tiên thấp trong danh sách phát triển năm 2025, nhưng đã được đưa vào nhanh hơn để đáp ứng nhu cầu
• Câu chữ trong UI sản phẩm cũng được thay đổi để chủ động thông báo về tính năng mới này

Ảnh hưởng đến định hướng sản phẩm/dịch vụ

• Tác giả tự đánh giá đây là trường hợp đầu tiên mà ChatGPT lặp đi lặp lại thông tin sai, khiến một tính năng vốn không tồn tại được thêm vào roadmap sản phẩm
• Việc cung cấp một công cụ hữu ích cho người dùng là điều tích cực, nhưng tác giả cũng có cảm xúc phức tạp về việc hướng phát triển sản phẩm bị lung lay bởi thông tin sai

Cảm nghĩ và trăn trở

• Tác giả cảm nhận rõ rằng thời đại AI phát tán thông tin sai và ảnh hưởng đến quyết định của công ty/sản phẩm thực tế đã đến
• Vẫn còn đó câu hỏi công ty nên phản ứng đến mức nào trước những kỳ vọng sai do AI tạo ra, thay vì trước 'nhu cầu của người dùng' thực sự

[kandk]

Đúng là một dịch vụ được AI “chọn mặt gửi vàng”, ghen tị thật đấy haha

[jjw951215]

Có vẻ ChatGPT là bộ phận marketing.

[GN⁺]

Ý kiến trên Hacker News

• Khi dùng GPT-4 cho lập trình, tôi nhận ra một trong những cách hữu ích nhất là thay vì <i>giải thích</i> cách dùng API, chỉ đưa ví dụ mã và yêu cầu thêm tính năng rồi để AI tự đoán. Khá thường xuyên nó đưa ra cách tiếp cận tốt hơn mà tôi chưa nghĩ tới. Khi đó tôi sẽ thực sự sửa API để đoạn mã của AI có thể chạy được. Ngược lại, khi tôi đưa mã hiện có và hỏi nó đang làm gì mà AI trả lời sai, tôi xem đó là dấu hiệu API của mình được thiết kế gây nhầm lẫn. Theo cách này, có thể tận dụng điểm mạnh cốt lõi của mạng nơ-ron không phải là độ chính xác mà là khả năng “ảo giác” nghe có vẻ hợp lý, tức tính sáng tạo. Tôi thích ở chỗ không phải mất thời gian tự đi bắt những bug được GPT-4 giấu rất khéo. Chỉ những giao diện thiếu trực quan mới có thể cải thiện được. Những thứ vốn dĩ kém hiệu quả, thiếu độ tin cậy hoặc khả năng kết hợp yếu thì AI không giúp được. Nhưng chỉ riêng việc làm API dễ đoán và dễ hiểu hơn cũng đã rất có giá trị. Tuy vậy, có một giới hạn là cách này không thật sự hiệu quả với các API đã quá phổ biến
  • Đôi khi AI đề xuất cách tiếp cận tốt hơn mong đợi. Bản thảo cuốn sách của tôi đã được chỉnh sửa hơn 30 lần và còn qua cả hiệu đính chuyên gia, vậy mà ở bước cuối Grammarly vẫn đưa ra khoảng 1/3 số chỉnh sửa là hữu ích. Nếu tôi chấp nhận tất cả, bản thảo có lẽ lại tệ hơn. Grammarly mạnh ở việc tìm từ thừa hoặc câu bị động. Nhưng nó không hiểu được sự hài hước, ngữ cảnh hay sự lặp lại có chủ ý. Vấn đề là các lãnh đạo muốn loại bỏ hoàn toàn con người, và làm vậy thì gần như lúc nào cũng thất bại
  • Một giai thoại nhỏ. Thư viện xử lý ảnh Python nào cũng thường có hàm imread(), nhưng vì tôi không biết điều đó nên khi làm thư viện nội bộ, tôi đã đặt tên khá lạ như image_get(). Khi nhờ ChatGPT viết một script đơn giản dùng thư viện nội bộ, nếu không cung cấp nhiều ngữ cảnh thì gần như lúc nào nó cũng đoán thành mylib.imread() và viết mã như vậy
  • Cách này khá giống kỹ thuật thiết kế HCI (tương tác người-máy) ngày xưa là Wizard of Oz. Đó là thí nghiệm trong đó con người giả làm ứng dụng thật, và rất hiệu quả để tìm ra tính năng mới giải thích trên wiki
  • Sáng nay tôi đã dùng cách này thành công. Tôi bảo AI tạo mã unit test nhưng kết quả rất tệ. Tuy nhiên chính quá trình thất bại đó lại giúp tôi phát hiện có bug ẩn trong đoạn mã mà tôi định kiểm thử
  • HDD, đùa vui theo kiểu Hallucination-Driven Development
• Trong một bài tôi viết gần đây có đoạn: “Ảo giác đôi khi có thể hoạt động giống như phát triển hướng kiểm thử (TDD). Nếu mô hình ngôn ngữ lớn tạo ảo giác ra một phương thức không tồn tại, có thể là vì về mặt logic phương thức đó cần phải có, nên đôi lúc tự triển khai nó lại là lựa chọn đúng” xem nguyên văn. Điều này cũng đúng với tính năng sản phẩm
  • Có vẻ nhiều người trong chúng ta đã tự mình trải nghiệm cách này. Những lời gọi API do vibe coders tưởng tượng ra có khi thực ra là các đề xuất đáng lẽ phải tồn tại từ trước. Phát triển dựa trên ảo giác, giờ thành xu hướng rồi tweet liên quan
• Có vẻ nhiều người đang rút ra bài học sai từ trường hợp này. Điểm cốt lõi thật sự không phải là có nhu cầu nên tính năng được thêm vào, mà là công nghệ đã gợi ý bằng ảo giác một tính năng không tồn tại rồi tính năng mới được bổ sung. Điểm chính là AI tạo sinh đã khiến người ta nhầm rằng một tính năng không có thật là có thật. Tôi nghĩ phía vận hành ChatGPT cần chú ý để chuyện này không lặp lại, vì sau này có thể phát sinh vấn đề nghiêm trọng hơn
• Thị trường công cụ viết bản nhạc bị phân mảnh theo nhiều cách. Điển hình là chia giữa ký âm truyền thống và tab notation (dành riêng cho guitar và các nhạc cụ cùng loại). Người dùng, cách ký hiệu, và cả thông tin sử dụng đều hoàn toàn khác nhau. Đã có các nỗ lực tiêu chuẩn hóa như MusicXML, nhưng rào cản giữa các “phe” vẫn rất cao. Điều ChatGPT đã làm là suy đoán rằng người dùng tab notation cũng sẽ dùng Soundslice, nhưng có lẽ hiện tại không phải vậy. Tuy nhiên trong tương lai, nếu Soundslice cung cấp thêm tính năng mang lại giá trị đặc biệt cho người dùng tab thì điều đó có thể thay đổi
  • Không chắc tôi có hiểu đúng ý bạn không, nhưng Soundslice đã hỗ trợ đầy đủ tab notation từ 10 năm trước rồi, đặc biệt là trình biên tập và bộ nhập nhiều định dạng. Thứ mới được thêm lần này là hỗ trợ <i>ASCII tab</i>
• Gần đây tôi thử dùng LLM để viết mã. Nó khá ổn cho việc dựng boilerplate. Khả năng nhận diện pattern cũng là một điểm mạnh. Tuy vậy, nó thường khiến tôi phải sửa đi sửa lại mã theo nhiều hướng. Có lần nó còn làm được cả một ứng dụng iOS hoàn chỉnh; UI được biến đổi khá đúng ý tôi và dữ liệu mẫu cũng được điền đa dạng. Nhưng việc tổ chức cấu trúc mã thì cực kỳ tệ. Khi cần quản lý thời lượng phát của file âm thanh dưới dạng danh sách, nó định ánh xạ ID file với độ dài bằng một dictionary (nói cho lập trình viên mới: thông tin như vậy thường đúng ra phải gắn trong một đối tượng AudioFile). LLM có xu hướng tiếp tục tham chiếu các phiên bản mã cũ. Nó cũng hay khăng khăng chỉnh những thứ không liên quan tới tác vụ hiện tại. Tôi ngày càng có cảm giác mình đang dành quá nhiều thời gian để “đào tạo” LLM. Nếu không phụ thuộc quá mức và cố đẩy nó vượt qua giới hạn vốn có, tôi nghĩ nó vẫn khá tăng năng suất. Ít nhất thì tôi chỉ mong nó nắm được những gì tôi vừa thay đổi, thay vì cứ tiếp tục đề xuất dựa trên bản nháp mã từ 5 ngày trước. (Trong một ví dụ chuyển một file văn bản phẳng dài thành các giá trị enum, khi tôi chỉ sửa hai dòng đầu, nó nhanh chóng học được pattern và đề xuất đúng hàng chục dòng tiếp theo)
  • Làm việc với LLM thực sự giống như làm cùng vài thực tập sinh cực kỳ năng suất, nhưng giới hạn của nó cũng tương tự
• Cái này gọi là product-channel fit. Điểm quan trọng là đã nắm bắt được nhu cầu từ một kênh thu hút mới ngay lập tức
  • Thứ ChatGPT thực sự làm ở đây là phiên bản tự động hóa của điều mà đội sales ở những công ty tôi từng trải qua luôn làm: tự tin nói với khách rằng thứ họ muốn “đã có rồi” hoặc “quý sau sẽ có”, rồi quay sang bảo đội kỹ sư làm gấp cho kịp
  • Việc này có liên quan đến solutions engineering không? Tức là lĩnh vực tập trung vào hỗ trợ các giải pháp tùy biến như custom hóa theo từng khách hàng lớn, adapter, xử lý dữ liệu và những thứ tương tự
  • Đây là một cách mới mẻ để tìm ra nhu cầu thị trường hoặc cơ hội hoàn toàn mới. Nó gắn với điểm mạnh của LLM là nhìn vào lượng dữ liệu lớn và “ảo giác” ra những pattern mà con người chưa kịp nhận thấy. Như trong trường hợp này, bằng chứng rằng pattern đó thực sự tồn tại xuất hiện qua việc mọi người tin vào thông tin sai của ChatGPT rồi hành động theo. Tức là trình tự: ảo giác → hành động → xác thực nhu cầu thực tế → nhà cung cấp bổ sung tính năng. Nếu chi phí triển khai không quá lớn thì đây là phản ứng khá hợp lý từ góc độ doanh nghiệp
• Điều tôi nghĩ ngay tới từ trường hợp này là “AI SEO”. Tôi đoán rất nhiều người đang nghiên cứu xem phải làm gì để chatbot AI, chẳng hạn các LLM như ChatGPT, gửi traffic về website của mình. Tôi dự đoán hàng tỷ USD sẽ đổ vào thị trường này. Tôi không biết nhiều về mảng này nhưng chắc đã có rất nhiều người thử rồi, và tôi cũng tò mò liệu sau này có xuất hiện dịch vụ trả tiền cho OpenAI để ChatGPT đề xuất sản phẩm của tôi nhiều hơn hay không
  • Muốn thắng trong cuộc chơi này, bạn phải khiến website của mình được nhắc đến một cách tự nhiên thật nhiều trong dữ liệu huấn luyện của LLM. AI SEO thực ra không khác SEO truyền thống quá nhiều
• Đây là một ví dụ thú vị về việc AI thực sự tạo ra thay đổi trong thế giới thực. Có góc nhìn sợ hãi về AGI và các đạo quân robot chinh phục thế giới, nhưng tôi nghĩ trên thực tế, sức mạnh thị trường sẽ là cách trực tiếp hơn để AI làm thế giới vận động
• Nếu bạn từng làm ở startup B2B và chứng kiến cảnh “một tính năng do đội sales ghi vào dù thực ra chưa tồn tại, rồi backlog bỗng quay ngoắt sang ưu tiên làm tính năng đó”, thì thay đổi được thúc đẩy bởi ảo giác của AI lần này sẽ chẳng có gì đáng ngạc nhiên
  • Một câu đùa hỏi có phải đã viết nhầm “rogue” không. Cũng nhắc đến sự khác nhau giữa “rouge” kiểu đồ mỹ phẩm và “rogue” kiểu làm sai quy định, kèm liên kết
  • Trong mảng B2B, chuyện đội sales chỉ cầm slide PowerPoint đi chào hàng, nếu phản hồi tốt thì phía sau mới vội vàng dựng tính năng, thậm chí cả sản phẩm, là thông lệ tiêu chuẩn. Không chỉ startup; doanh nghiệp lớn cũng thường làm như vậy
  • B2B (Business-to-Business) có nghĩa là kinh doanh giữa các doanh nghiệp
• Công ty chúng tôi cũng gặp vấn đề tương tự. Không phải ChatGPT mà là chatbot AI nội bộ dùng RAG dựa trên tài liệu, cứ liên tục ảo giác ra những tùy chọn (flag) không có thật. Vì thế chúng tôi đã xem đó như một dạng phản hồi sản phẩm. Không nhất thiết phải là đúng chính cái tùy chọn đó, nhưng có lẽ đang thiếu một tính năng trực quan nào đó nên LLM mới tưởng tượng ra một thứ nghe hợp lý như vậy

[kallare]

Phát triển dựa trên ảo giác... chắc có thể gọi là vậy nhỉ;;

[opminsu]

kkkkkkkk

[ryj0902]

Đề xuất... đây là đề xuất đấy!

[unsure4000]

HDDkkkkkkkkkkkkkkkk

[ilillliiliil]

Đúng vậy đó hahaha

[bungker]

kkkkkk

[dongjinahn]

kkkkk "cứ như thể tính năng đó phải tồn tại vậy"