Bản tóm tắt AI của ESPN không nhắc đến Alex Morgan trong trận đấu chuyên nghiệp cuối cùng của cô
(awfulannouncing.com)- Bản tóm tắt trận đấu do AI tạo của ESPN đã bỏ sót bối cảnh cốt lõi rằng đây là trận đấu giải nghệ của Alex Morgan, cho thấy tóm tắt tự động có thể bỏ lỡ câu chuyện quan trọng với độc giả dù vẫn nêu đúng kết quả trận đấu
- San Diego Wave thua North Carolina Courage 4-1, Morgan thi đấu 15 phút, thực hiện một quả phạt đền rồi gửi lời cảm ơn và chia tay khán giả
- Bản tóm tắt của ESPN Generative AI Services được đăng trên website và ứng dụng lúc 8:52 tối giờ miền Đông, đề cập đến bàn thắng và diễn biến trong 215 từ nhưng không hề nhắc đến Morgan
- ESPN cho biết mỗi bản tóm tắt AI đều được biên tập viên con người rà soát, nhưng không rõ thiếu sót lần này bị bỏ qua trong quá trình rà soát hay bị loại khỏi phần đánh giá
- Dù một bài viết riêng đã đưa tin về trận đấu cuối cùng của Morgan, các bản tóm tắt AI cung cấp cho người hâm mộ những môn thể thao ít được đưa tin cần có cả khả năng chọn lọc bối cảnh để tạo được niềm tin
Khoảnh khắc cốt lõi của trận đấu mà bản tóm tắt AI bỏ lỡ
- Alex Morgan, cầu thủ mang tính biểu tượng của bóng đá Mỹ, đã chơi trận chuyên nghiệp cuối cùng vào Chủ nhật trong màu áo San Diego Wave, và đội thua North Carolina Courage 4-1
- Trong trận, Morgan cởi giày ở khu vực giữa sân và rơi nước mắt vẫy chào khán giả tại Snapdragon Stadium
- Khán giả hô vang tên Morgan, còn các cầu thủ vây quanh cô và vỗ tay
- Morgan thi đấu 15 phút và thực hiện một quả phạt đền
- Sau trận, cô cảm ơn khán giả vì sự cổ vũ và nói lời chia tay
- Trận đấu được phát sóng đồng thời trên nhiều mạng truyền hình và dịch vụ streaming
Thiếu sót trong bản tóm tắt của ESPN Generative AI Services
- Từ tuần đó, ESPN Generative AI Services bắt đầu cung cấp tóm tắt trận đấu cho NWSL và Premier Lacrosse League
- Bản tóm tắt gây tranh cãi được đăng trên website và ứng dụng ESPN lúc 8:52 tối giờ miền Đông
- Bản tóm tắt trình bày theo chuẩn về kết quả, cầu thủ ghi bàn và diễn biến trận đấu, nhưng trong toàn bộ 215 từ không nhắc đến Morgan
- Việc đây là trận chuyên nghiệp cuối cùng của Morgan, người từng hai lần vô địch World Cup và giành huy chương vàng Olympic, cũng bị bỏ sót
- Bản tóm tắt có câu: “Kennedy Wesley của San Diego là cầu thủ nổi bật, đóng góp cả trong phòng ngự lẫn tấn công”
Những câu hỏi từ khâu rà soát của biên tập viên con người
- Trong thông báo ra mắt dịch vụ, ESPN cho biết mỗi bản tóm tắt do AI tạo đều được biên tập viên con người kiểm tra chất lượng và độ chính xác
- Lý do Morgan bị bỏ sót vẫn chưa rõ
- Có thể biên tập viên con người đã không nhận ra việc thiếu vắng Morgan
- Cũng vẫn có khả năng họ cho rằng bối cảnh liên quan đến Morgan không đáng nhắc đến
- Dù các sự kiện trong bản tóm tắt có thể chính xác, việc bỏ sót Morgan và tầm quan trọng của đêm đó trở thành một ví dụ cho thấy bản tóm tắt không truyền tải được toàn bộ bối cảnh trận đấu
Bài viết riêng và chỉnh sửa muộn
- ESPN đã đăng bài viết riêng tập trung vào Morgan do Jeff Kassouf viết
- Bài viết đó nói về đêm cuối cùng đầy cảm xúc của Morgan, nhưng nằm trong menu bên của bản tóm tắt do AI tạo nên rất dễ bị bỏ lỡ
- ESPN đã chỉnh sửa bản tóm tắt trận đấu lúc 8:59 sáng giờ miền Đông thứ Hai, ngày 9 tháng 9, để bổ sung phần nhắc đến Alex Morgan
Giới hạn của tóm tắt AI trong các môn thể thao ít được đưa tin
- ESPN cho biết tóm tắt do AI tạo nhằm tăng cường việc đưa tin về các môn thể thao ít được phục vụ và cung cấp cho người hâm mộ những nội dung trước đây chưa có
- Một bản tóm tắt trận đấu bỏ lỡ bối cảnh quan trọng cho thấy chỉ liệt kê sự kiện là chưa đủ
- Người viết con người có thể nhìn thấy không chỉ kết quả trận đấu mà cả những khoảnh khắc quan trọng với cầu thủ, giải đấu và người hâm mộ, nhưng bản tóm tắt AI này đã không làm được vai trò đó
1 bình luận
Các ý kiến trên Hacker News
Dùng chuyện này làm ví dụ để chỉ trích nội dung do AI tạo thì khá buồn cười. Các công ty nội dung thể thao trên web đã tự động tạo nội dung bài viết ít nhất 10 năm trước khi LLM trở nên nổi tiếng
Thường là vì thứ hạng tìm kiếm, vì càng có nhiều nội dung trông có vẻ liên quan thì càng có lợi cho tối ưu hóa công cụ tìm kiếm
Những chuyện như thế này rất có thể đã xảy ra nhiều lần trước thời AI, chỉ là không bị chú ý hoặc không được quan tâm mấy. Vụ này có vẻ giống ESPN đã bỏ lỡ nhạy cảm tại hiện trường và không đảm bảo để một copywriter trực tiếp cập nhật bài viết đó hơn. ESPN từ lâu đã được biết đến là nơi chuộng số lượng hơn chất lượng
Nguồn: từng làm lập trình viên kỹ thuật tại một công ty tạo loại nội dung này
Việc loại nội dung chung chung, chỉ pha trộn thuật ngữ thể thao như thế này lại kiếm được tiền tự nó đã khá u ám
Rất dễ nhận ra nhiều bài thể thao thực chất là điền vào chỗ trống. Vì vậy họ đăng ngay bài của AP, rồi phóng viên phụ trách thực sự sẽ có bài riêng vào tối hôm đó hoặc sáng hôm sau
Dù có được tạo tự động hay không thì cũng vô dụng như nhau, và LLM chỉ làm cho việc đó rẻ hơn mà thôi
Trận này được ESPN phát sóng trên cả ESPN2 và ESPN+. Vậy thì rất có khả năng họ đang trả tiền cho hai bình luận viên chuyên môn để bổ sung bối cảnh trước, trong và sau trận, cũng như giải thích các khoảnh khắc quan trọng
Họ không cung cấp nội dung đó cho bot viết bài dưới dạng bản chép phụ đề sao? Bình luận vốn đã được xử lý thành phụ đề trực tiếp, nên đây có vẻ là một cải tiến thật sự dễ làm
“Sau đây là bản chép lời của một trận bóng đá. Hãy viết một bài 200 từ về trận đấu này theo văn phong của một nhà báo thể thao chuyên nghiệp giàu kinh nghiệm.”
Bản tóm tắt bắt đầu bằng: “Trong trận đấu chuyên nghiệp cuối cùng của mình, Alex Morgan đã chơi một trận đầy cảm xúc và sự kiên cường, nhưng San Diego Wave để thua North Carolina Courage 3-1. Diễn ra tại Snapdragon Stadium của San Diego, trận đấu này không chỉ là một cuộc so tài mà còn là lời tri ân dành cho một trong những biểu tượng của bóng đá.”
Tỷ số bị sai. Phần còn lại ở đây: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
Nếu đưa bản chép lời dài vài tiếng vào LLM, sẽ có nguy cơ phát sinh ảo giác vì những gì bình luận viên nói một cách phấn khích về khả năng ghi bàn hoặc các sự kiện rốt cuộc không xảy ra
Ngược lại, những việc đơn giản như “biến danh sách bàn thắng, thời điểm, cầu thủ ghi bàn, cầu thủ kiến tạo, v.v. thành câu văn” có thể làm bằng thuật toán xác định mà không cần LLM, và lần này cũng có thể là như vậy. Một số vấn đề ngữ pháp trong bài gốc có cảm giác giống các quy tắc thay thế kiểu trước LLM bị kết hợp sai hơn
Có thể xây dựng một hệ thống lặp đi lặp lại việc kiểm chứng bản nháp đầu tiên do LLM tóm tắt từ bản chép lời dài, rồi đối chiếu với dữ liệu có cấu trúc đã biết để xác nhận độ chính xác. Nó cũng có thể tạo ra nội dung phong phú hơn với tỷ lệ lỗi chấp nhận được, và các kỹ sư machine learning hàng đầu thế giới có thể làm nguyên mẫu tại một hackathon
Nhưng với một tổ chức lớn và né tránh rủi ro, việc đó hoàn toàn không dễ. Vì rất khó thắng được lập luận “thứ đang có hiện nay không hoàn hảo, nhưng ít nhất không sai sự thật”
Điều đó khá khác với cách “có thể truy cập mọi thứ” mà bạn kỳ vọng ở công ty công nghệ, hoặc với lẽ thường nói chung
Tôi hoàn toàn không biết ESPN làm việc như thế nào; đây chỉ là suy luận dựa trên những gì tôi từng thấy ở nơi khác
Nếu thông tin “đây là trận đấu cuối cùng của Alex Morgan” không có ở bất kỳ đâu trong đầu vào hay prompt, thì rốt cuộc bản tóm tắt AI làm sao có thể đưa chi tiết đó vào bài viết về trận đấu được?
Kể cả đưa cho một thực tập sinh tuổi teen nào đó chỉ một bảng gồm người ghi bàn và thời điểm ghi bàn, chắc họ cũng viết ra một bài tương tự. Nhưng điều đó không phải là cái cớ để các tòa soạn và trang thể thao dùng AI tạo sinh cho mọi thứ, và tôi cũng hiểu vì sao mọi người khó chịu với ESPN
Việc áp dụng AI tạo sinh trông là như thế này: dùng đầu vào chất lượng thấp để tạo ra thứ trông giống một bài báo. Đây chính là tương lai rực rỡ mà OpenAI mang lại
Thay vì chỉ đưa các sự kiện trong trận đấu vào LLM rồi yêu cầu tóm tắt, rõ ràng có hướng cải thiện bằng cách đưa vào prompt bản tóm tắt 10 bài viết gần đây liên quan đến cầu thủ, huấn luyện viên tham gia trận đấu, thậm chí có thể cả bản tóm tắt 10 bài viết quan trọng trong quá khứ
Sau đó có thể yêu cầu nó tóm tắt trận đấu, còn các thông tin khác thì dùng để tham khảo nhằm nâng chất lượng bài viết. Chẳng phải đây chính xác là việc LLM có thể làm tốt sao?
ESPN nhấn mạnh rằng “mỗi bản tóm tắt do AI tạo ra đều được biên tập viên con người rà soát để bảo đảm chất lượng và độ chính xác”, nhưng thật khó tin điều đó
Mục đích cốt lõi của việc để AI viết bài là giảm số người phải trả lương, nên việc bỏ tiền để các chuyên gia được đào tạo rà soát kỹ lưỡng từng bài có lẽ không nằm trong lựa chọn
Họ có thể thỏa hiệp bằng cách giảm mức độ kỹ lưỡng của việc rà soát, hạ thấp chuyên môn của biên tập viên, hoặc không đưa con người vào mọi bài viết, nhưng họ sẽ không trả tiền để biên tập viên chuyên nghiệp làm việc đúng nghĩa. Tôi dám chắc điều này
Cứ 10 phóng viên bị thay thế mà chỉ cần 1 biên tập viên thì vẫn là khoản tiết kiệm chi phí lớn
Có thể sau vài thế hệ nữa biên tập viên cũng bị thay thế, nhưng tôi nghĩ hiện vẫn chưa tới mức đó
ESPN đã loại con người khỏi hoạt động đưa tin, và AI thì loại con người khỏi nội dung đưa tin
Trong thông báo về dịch vụ, ESPN nhấn mạnh rằng “mỗi bản tóm tắt do AI tạo ra đều được biên tập viên con người rà soát để bảo đảm chất lượng và độ chính xác”. Không rõ biên tập viên con người không nhận ra việc thiếu Morgan, hay họ cho rằng điều đó không đáng nhắc tới
Suốt 100 năm qua, đổ lỗi cho thực tập sinh luôn là vật tế thần tuyệt vời
Tôi thật sự ghét bản tóm tắt trận đấu bằng AI của WTT (World Table Tennis)
Highlight AI cắt ngang giữa một pha bóng, bỏ qua cả điểm, thậm chí cả set. Nó cũng không phản ánh được những sự kiện quan trọng xảy ra giữa các điểm, và đôi khi còn cắt mất phần bình luận hào hứng hay màn ăn mừng sau điểm số, thậm chí cả cái bắt tay cuối trận
Những bản tóm tắt AI kiểu này được tạo ra như thế nào? Tôi tò mò là họ đưa vào toàn bộ file video trận đấu rồi nó nhả ra tóm tắt, hay đưa vào bảng ghi điểm do con người viết kèm timestamp của các pha ghi điểm rồi AI thêm câu chữ để biến thành bài báo
Bây giờ có lẽ chỉ cần đưa các lệnh gọi API thô vào và dùng prompt kiểu “hãy dùng dữ liệu này để viết một bài tóm tắt trận đấu” là sẽ ra kết quả. Tất nhiên tôi đoán prompt hẳn được chăm chút hơn thế. Hoặc vì là ESPN nên cũng có thể không
Tuy nhiên tôi hoàn toàn không nhớ là phản hồi API có chứa retiring_players
Nói thêm, tóm tắt theo từng pha bóng thực sự được ghi chép cực kỳ tốt. Đến mức đáng kinh ngạc. Với các môn thể thao phổ biến như Gridiron Football hay Basketball, đôi khi còn có vị trí cầu thủ theo từng giây. Dữ liệu này đến từ các feed như SportsRadar
Có lẽ họ sẽ không đưa cả dữ liệu chi tiết như vậy vào prompt, nhưng vẫn có những thông tin tóm tắt khá ổn như ai ném được bao nhiêu quả 3 điểm và ném từ đâu
Nếu thêm vào danh sách cầu thủ, chấn thương, lịch thi đấu và dùng một prompt khá cơ bản thôi thì khả năng cao cũng đã tốt hơn đáng kể
Dữ liệu như vậy hiện tồn tại qua nhiều dịch vụ web cho hầu hết các trận đấu trực tiếp. Nội bộ ESPN chắc cũng có đủ tài nguyên để lấy những thông tin đó
Nếu một hệ thống trị giá hàng chục tỷ đô la sụp đổ vì “lỗi con người”, thì năng lực của nó có thể đã bị thổi phồng rất nhiều. Nếu nó cần các truy vấn được soạn kỹ gọi là “prompt engineering”, dữ liệu không lỗi 100%, lượng điện khổng lồ, rồi còn cần con người rà soát lại đầu ra, thì tôi không biết rốt cuộc chúng ta đạt được gì
Đã đến lúc thừa nhận giai đoạn AI này là một bong bóng rồi chăng
Những website kiểu này đầy tracker và quảng cáo, và về cơ bản chỉ là các bài viết cực kỳ ít công sức đưa tin về những nội dung phần lớn chẳng có mấy ý nghĩa nhưng bị kéo dài lê thê