- Thử nghiệm thực địa của Harvard Digital Data Design Institute và BCG đã đánh giá AI thay đổi năng suất và chất lượng của lao động tri thức đến mức nào trên 758 tư vấn viên
- Các bài toán được thiết kế để xem khả năng áp dụng vào công việc thực tế thay vì chỉ là benchmark đơn giản, bao gồm sáng tạo, tư duy phân tích, viết lách và tính thuyết phục gần với công việc thực của tư vấn viên
- ChatGPT-4 đã nâng hơn 25% tốc độ làm việc, hơn 40% kết quả theo đánh giá của con người và hơn 12% tỷ lệ hoàn thành ở các bài toán phù hợp với AI
- Không phải mọi công việc đều đạt cùng hiệu quả; ràng buộc cốt lõi bộc lộ là ranh giới công nghệ gồ ghề nơi các lĩnh vực mạnh và yếu bị phân hóa
- Việc ứng dụng trong thực tế được chia thành Centaurs là phân chia công việc để giao cho từng bên và Cyborgs là hòa AI vào workflow; cần cân nhắc tổ hợp giữa con người và AI cho từng loại nhiệm vụ
Thử nghiệm thực địa với các tư vấn viên BCG
- Karim Lakhani của Harvard Digital Data Design Institute cùng các cộng sự đã phối hợp với Boston Consulting Group (BCG) để đánh giá tác động của AI lên năng suất và chất lượng của lao động tri thức
- Đối tượng thí nghiệm là 758 tư vấn viên, tương đương 7% lực lượng nhân sự đóng góp cá nhân của BCG
- Các bài toán phản ánh phạm vi công việc hằng ngày của tư vấn viên
-
Sáng tạo
-
Tư duy phân tích
-
Kỹ năng viết
- Tính thuyết phục
-
Cải thiện hiệu quả và các giới hạn
- Ở những nhóm bài toán mà AI hoạt động tốt, ChatGPT-4 đã cải thiện hiệu quả rõ rệt
- Tốc độ làm việc tăng hơn 25%
- Kết quả theo tiêu chí đánh giá của con người tăng hơn 40%
- Tỷ lệ hoàn thành công việc tăng hơn 12%
- Ngược lại, hiệu năng của AI không đồng đều trên mọi bài toán
- Trong một số công việc, AI cho kết quả xuất sắc, nhưng ở công việc khác thì còn thiếu sót
- Sự khác biệt này được khái quát bằng khái niệm jagged technological frontier
Hai kiểu sử dụng xuất hiện trong công việc tri thức
- Người dùng AI chủ yếu được chia thành hai mô hình
- Centaurs: chia tách và ủy nhiệm công việc giữa con người và AI
- Cyborgs: tích hợp AI vào workflow của bản thân
- Thay vì chỉ nhìn theo kiểu có dùng AI hay không, điều quan trọng là đánh giá tổ hợp giữa con người và AI tạo ra giá trị thế nào trong từng luồng công việc
1 bình luận
Các ý kiến trên Hacker News
Những bài tập này trông như các việc cực kỳ phù hợp với GPT: ở các mảng như sáng tạo, tư duy phân tích, viết lách và thuyết phục, nó được yêu cầu nghĩ ra 10 ý tưởng về giày, phân khúc thị trường, thông cáo báo chí, và bản ghi nhớ truyền cảm hứng cho nhân viên
Phản hồi của GPT cho bài tập đầu tiên: https://chat.openai.com/share/db7556f7-6036-4b3d-a61a-9cd253...
Ảo giác đầy tự tin của GPT gần như không thể phân biệt với tài liệu tư vấn quản trị điển hình
Khách hàng không muốn “10 ý tưởng”, mà muốn “10 ý tưởng có giá trị dựa trên hiểu biết về doanh nghiệp và thị trường”. Nếu một nhà tư vấn quản trị trả lời câu hỏi này bằng những thứ như “giày đi thuyền”, họ sẽ khó giữ khách lâu dài
Tương tự, trong kỹ thuật phần mềm, nếu bảo “viết cho tôi 10 dòng code”, thì cũng có thể nói nó không khác gì code mà ChatGPT tạo ra hằng ngày
Công ty của tôi từng thuê McKinsey, nơi nổi tiếng tuyển người từ HYP, vài lần và kết quả nói nhẹ nhất cũng là chưa đạt. Trải nghiệm của tôi với các tổ chức kiểu này nhìn chung cũng tương tự
Tôi biết đó chỉ là giai thoại, nhưng tôi có cảm giác trong các nghiên cứu kiểu này có rất nhiều thiên kiến xác nhận
Nghiên cứu này đã chôn vùi điểm cốt lõi. LLM tốt hơn ở một số tác vụ, nhưng ở những tác vụ khác thì thực sự làm kết quả tệ đi
Tác vụ đầu tiên là một tác vụ tổng quát mà nghiên cứu gọi là “bên trong ranh giới”, nên việc hiệu năng tăng không có gì đáng ngạc nhiên. Đó là việc khảo sát một lĩnh vực được xác định rõ mà không cần kiến thức miền sâu, rất khớp với thế mạnh của LLM. Những việc mà các tư vấn viên mới vào nghề làm ở giai đoạn đầu, kiểu vai trò business analyst, phần lớn cũng là các công việc tổng quát như vậy
LLM mạnh ở dạng khảo sát chung này vì đã khái quát hóa rất nhiều thông tin, nhưng chính sự khái quát hóa đó cũng là điểm yếu của nó. Có thể xem nó như một nhà báo trong lĩnh vực nghiên cứu. Khi đọc báo, ta có cảm giác thu được insight, nhưng hễ đọc một bài về lĩnh vực mình hiểu rõ, ta lập tức nhận ra phân tích có nhiều khiếm khuyết và người viết không hiểu chủ đề ở cùng mức với mình
Tác vụ thứ hai, “bên ngoài ranh giới”, yêu cầu phân tích spreadsheet, phỏng vấn và phân tích sâu hơn có bằng chứng hậu thuẫn, vốn là những việc LLM hiện nay còn yếu. Vì vậy nhóm không dùng LLM đạt 84,5%, còn người dùng LLM chỉ đạt 60–70,6%
Kết luận là LLM rất tốt cho nghiên cứu/khảo sát mang tính khái quát, nhưng kém phù hợp hơn với công việc phân tích chuyên sâu
Khi hỏi câu hỏi lập trình, ChatGPT ảo giác khoảng 20%, và tôi đủ thành thạo để nhận ra. Có lẽ khi hỏi về các lĩnh vực khác, tôi cũng nên giả định rằng ít nhất có chừng ấy ảo giác và thông tin sai
Chuyện này buồn cười thật. Khả năng viết của GPT-3/4 cũng ấn tượng, nhưng điều gây sốc hơn là cách viết của con người lại đầy khoa trương đến mức nào
“Tư vấn kinh doanh” là đỉnh cao của những vai trò cần kiểu viết khoa trương đó, và ChatGPT có thể hành xử giống một tư vấn kinh doanh hơn cả những tư vấn kinh doanh giỏi nhất
Ở nơi làm việc, để được xem là nghiêm túc, đôi khi ta phải thổi phồng một ý tưởng hay dữ liệu súc tích thành tài liệu nhiều trang hoặc một slide deck. Như vậy người khác mới lập tức nhận ra rằng “đã bỏ công sức”
Có lẽ vai trò phù hợp nhất với ChatGPT hiện nay là nhận một đoạn viết ngắn gọn rồi mở rộng thành một tài liệu dài hơn rất nhiều và đầy phần thừa thãi. Người nhận sẽ chịu đựng tài liệu hay slide dài dòng đó, công nhận rằng “đã làm việc”, rồi lại đưa nó vào ChatGPT để tóm tắt trở về phần cốt lõi ban đầu
Khi nói “LLM có thể tạo văn bản”, chúng ta đang quét một nét cọ rộng như đường cao tốc 10 làn. Có vẻ vốn từ của chúng ta để mô tả viết lách thực sự là gì, gồm những phạm trù và cấp độ nào, vẫn còn khá hạn chế
Ví dụ, với email lịch sự, spam truyền cảm hứng kiểu LinkedIn, hay văn phong doanh nghiệp, việc GPT áp đảo con người ngay từ lần thử đầu tiên là điều thú vị và với tôi thì hoàn toàn có thể đoán trước. Ngược lại, nếu yêu cầu tập tiếp theo của Game of Thrones hoặc một tác phẩm văn học được viết hay, nó sẽ sụp đổ thành thứ buồn tẻ, chung chung, đầy sáo ngữ cùng cốt truyện và nhân vật rỗng tuếch
Giờ ta cần lập bản đồ địa hình của viết lách thành một không gian khái niệm tốt hơn. Hiện tại, có vẻ chúng ta thậm chí còn không phân biệt được những khác biệt tương đương giữa số học và đại số trừu tượng
LLM làm các tác vụ ngôn ngữ tốt đến mức đáng kinh ngạc. Phần lớn những gì người ta trước đây gọi là xử lý ngôn ngữ tự nhiên giờ gần như đã bị lấn át. Tóm tắt, hỏi đáp, phân tích cảm xúc… thực sự ở mức đáng kinh ngạc
Các tác vụ sinh nội dung mà ranh giới của “sự thật” không rõ ràng, và không cần phải khớp nối dày đặc như tiểu thuyết của Pynchon, cũng rất mạnh. Truyện ngắn, bài ý kiến, câu chữ sản phẩm là bộ khuếch đại năng suất có thể tạo ra 20 ý tưởng như nguyên mẫu chỉ trong 1 phút
Nhưng vị trí hiện tại đại khái chỉ đến đây. Nó đưa ngôn ngữ tự nhiên lên không gian tiềm ẩn để tạo ra các khái niệm có thể tách biệt ở một mức nào đó, thực hiện thứ gì đó giống phép biến đổi affine, rồi hạ xuống lại
Với tư cách là máy tính thì cực kỳ ấn tượng, nhưng nếu hỏi liệu nó có thật sự thay thế được phần việc của một sinh viên tốt nghiệp Penn đắt đỏ hay không, thì thứ người ta trả tiền có lẽ là một thứ khác chứ không phải những insight chiến lược sản phẩm chói sáng
Kiểu như thay đổi một chút bức tranh người cây đang giận dữ thì nhiều khả năng nó vẫn là một bức tranh người cây đang giận dữ hay
Đầu ra trông có vẻ chấp nhận được là vì con người dùng bộ não của mình để lấp các vết nứt. Con người nhận ra đầu ra rác, giải quyết các mơ hồ nhỏ, và vô thức sửa các lỗi sự kiện/lô-gic lặt vặt
Nhưng bạn sẽ không đưa trực tiếp kết quả của LLM vào một chương trình máy tính khác. Như vậy thì phần lớn các tác vụ xử lý ngôn ngữ tự nhiên truyền thống bị loại trừ
Tôi nhìn chung đồng ý rằng nó có thể làm các tác vụ này khá tốt, nhưng hiệu năng vẫn chưa đủ để chạy trên các bộ dữ liệu quy mô lớn
Nhưng ngay sau đó lại bảo đừng dùng nguyên xi như vậy vì “phi đạo đức”
Điều này nói lên nhiều hơn về việc các consultant của BCG vô dụng đến mức nào
Người không có nền tảng viết lách hay biên tập nghĩ rằng LLM sẽ cách mạng hóa lĩnh vực đó. Các nhà văn và biên tập viên thực thụ chỉ cần nhìn đầu ra của LLM một lần là nhận ra thời gian sửa gần bằng thời gian viết từ đầu, nên về cơ bản là không có giá trị
Tương tự, những người không biết lập trình hoặc hiểu chủ đề nông, đặc biệt là các quản lý muốn tỏ ra có kỹ thuật, nhìn đầu ra của LLM và nghĩ có thể triển khai ngay, nhưng lập trình viên giỏi sẽ thấy có quá nhiều vấn đề lớn nhỏ đến mức không đáng sửa so với viết từ đầu
Trong một nhóm 20–30 kỹ sư, thường chỉ có một kỹ sư kiểu “sao người này lại ở với chúng ta nhỉ?”, vừa rất giỏi kỹ thuật vừa giỏi đối nhân xử thế. Nhưng dù tính cách có tốt đến đâu thì công việc vẫn là công việc, người đó chỉ đưa ra gợi ý về việc quản trị nên như thế nào mà thôi. Họ cũng chơi game, có gia đình và có cuộc sống, nên không quan tâm công ty sẽ đi về đâu, cũng như không quan tâm đến quản trị và những trách nhiệm không cần thiết. Hơn nữa, những người cấp trên chỉ nhìn họ là “kỹ sư”, chứ không phải “quản lý”
Khi các kỹ sư và quản lý còn lại cũng có thái độ “không phải vấn đề của tôi”, một khoảng trống giao tiếp kỳ lạ sẽ xuất hiện. Kỹ sư làm việc gần với sản phẩm không muốn nói chuyện với quản lý vì sợ bị nói “nếu anh biết rõ thế thì anh làm đi?”, còn quản lý không muốn nói chuyện với kỹ sư vì sợ bị nói “nếu anh quan tâm thế thì anh làm đi?”
Consultant quản trị bước vào khoảng cách ngày càng lớn giữa quản lý và kỹ sư đó. Nhờ sự linh hoạt do lãnh đạo cấp cao trao cho, consultant quản trị có thể qua lại giữa kỹ sư và quản lý, nói chuyện với bất kỳ ai, và không bị ràng buộc bởi câu “vậy anh làm đi?”. Họ nộp báo cáo rồi trong một tháng mang về số tiền bằng lương một năm của quản lý/kỹ sư
Nghiêm túc nhìn lại thì trong công ty có rất nhiều việc mọi người biết là công ty nên làm nhưng không nói ra. Vì nói ra thì việc tăng lên và rủi ro cũng tăng. Một consultant quản trị “giỏi” sẽ tìm ra những việc “không muốn làm nhưng phải làm” đó và báo cáo lên lãnh đạo cấp cao, rồi lãnh đạo tạo ra hệ thống để bắt thực hiện việc đó. Nếu ai cần consultant quản trị thì có thể thuê tôi. Tôi sẽ nói cho biết 20 cách vì sao công ty không ổn, trong đó 18 cách sẽ do ChatGPT tạo ra
Buồn cười là trong thread nào cũng có thể dự đoán được kiểu bình luận này. Cứ dùng mãi “điều đó nói lên nhiều hơn về [chèn vào]” thì bản thân cách diễn đạt đó mất hết ý nghĩa. Không thể nói điều gì có ý nghĩa hơn sao
Không ngạc nhiên. GPT tốt đến mức đáng sợ, và cũng rất hợp với lập trình
Tôi yêu cầu GPT-4 viết code rồi thử xem có chạy không, nhưng hiếm khi tôi copy-paste nguyên xi đoạn code đó. Tôi tự viết lại cho phù hợp với ngữ cảnh codebase. Dù vậy, nó vẫn tiết kiệm rất nhiều thời gian khi tôi không chắc nên làm thế nào
Có lúc tôi không thích đề xuất của nó, nhưng điều đó cũng hữu ích. Thường thì không gian vấn đề trở nên rõ ràng hơn trong đầu
Tôi giao cho nó một tác vụ khá hóc búa mà không tìm được câu trả lời trên Google và cũng không chắc có khả thi không. Yêu cầu là: “Cho một đối tượng Python, hãy đưa ra danh sách các hàm đã nhận đối tượng này làm đối số. Không được sửa code hiện có, chỉ có thể thay đổi cấu trúc đối tượng”
Ban đầu nó đưa ra vài ý tưởng không phù hợp lắm như sửa hàm, bọc bằng decorator, xem truy vết stack hiện tại, nhưng sau vài lượt trao đổi, nó đề xuất giải quyết bằng cách chặn tracer của Python và thực tế là chạy được
Điều đáng kinh ngạc là tôi không nghĩ nó đã thấy đúng thứ như vậy trong dữ liệu huấn luyện, vậy mà vẫn ghép các mảnh lại với nhau. Gần như ở mức con người. Khi tôi hỏi, nó cũng dễ dàng giải thích hạn chế là có thể can thiệp vào debugger
Ví dụ ở trang 10 của bản gốc kiểu như: đề xuất hơn 10 ý tưởng giày mới nhắm vào các thị trường hoặc môn thể thao bị bỏ ngỏ, phân khúc thị trường ngành giày dựa trên người dùng, soạn thảo thông cáo báo chí quảng bá sản phẩm, viết memo truyền cảm hứng giải thích cho nhân viên vì sao sản phẩm vượt trội hơn sản phẩm cạnh tranh
Cá nhân tôi thấy gần như không có giá trị thực tế
Tôi không nói bạn là kiểu lập trình viên đó, nhưng rõ ràng nó khiến kiểu lập trình viên như vậy trở nên khả thi
Với tư cách từng là tư vấn viên, tôi nghĩ ngay đến câu hỏi hiển nhiên tiếp theo. Nếu loại bỏ hoàn toàn tư vấn viên và để GPT-4 làm việc trực tiếp cho khách hàng thì sao?
Để giao việc cho tư vấn viên, khách hàng phải giải thích yêu cầu, xem xét kết quả, đưa phản hồi và tham gia vài cuộc họp
Nhưng nếu GPT-4 khiến tư vấn viên giỏi hơn rất nhiều, có vẻ nó cũng có thể làm thay công việc của họ. Cộng thêm chi phí giao tiếp giảm do không phải làm việc với một nhóm bên ngoài, tại sao khách hàng lại không loại bỏ chi phí thuê tư vấn bên ngoài cùng gánh nặng quản lý, rồi tự hưởng lợi trực tiếp?
Điều này càng đúng nếu khách hàng vốn đã là chuyên gia miền và chỉ cần thêm nhân lực. Ví dụ, một brand manager marketing hiểu rõ sản phẩm và hoạt động marketing của mình, nhưng vì các giới hạn nhân sự nội bộ nên có thể cần thêm nguồn lực và làm việc với tư vấn marketing
Tôi tự hỏi BCG đã nghĩ đến cùng ý nghĩa của việc tham gia nghiên cứu này chưa. Từ “giúp tư vấn viên hỗ trợ khách hàng tốt hơn” đến “trực tiếp giúp khách hàng và cho thấy tư vấn viên không còn cần thiết mấy” có vẻ là một khoảng cách rất ngắn
Đặc biệt là khi khách hàng tuyển một thực tập sinh và đưa GPT-4 cho người đó
Từ góc nhìn CEO, họ có thể gọi các công ty đó đến, trả rất nhiều tiền để lập kế hoạch và chiến lược; nếu thành công thì nhận công, còn nếu thất bại thì nói “tôi đã làm việc chặt chẽ với các chuyên gia McKinsey, nên đó không phải trách nhiệm của tôi”
HN dự đoán thật sự rất kém. Chỉ vài tháng trước thôi, đầy bình luận tự tin nói LLM chỉ là con vẹt xác suất và sẽ chẳng làm được gì
“Tôi không thể gạt khỏi đầu ý nghĩ rằng mùa đông AI tiếp theo đang ở ngay trước mắt”, ừ, tất nhiên rồi
[0] https://news.ycombinator.com/item?id=23886325
Và nếu đọc bài, mức đầu ra mà chúng ta đang nói đến gần như đúng là như vậy. Hơn 10 ý tưởng giày mới nhắm vào các thị trường hoặc môn thể thao bị bỏ ngỏ, phân khúc thị trường ngành giày, thông cáo báo chí sản phẩm, memo truyền cảm hứng cho nhân viên về lý do sản phẩm vượt trội hơn đối thủ, những thứ như vậy
Hơn nữa, ở tác vụ thứ hai, nhóm không dùng LLM làm tốt hơn nhiều
Nếu đưa ra một dự đoán tệ đến vô lý, điều đó có nghĩa mô hình của tôi về đối tượng đó đã lệch và cần được sửa
Nhưng nếu cứ tiếp tục dự đoán mà không hề sửa mô hình thì đó là vấn đề lớn
Theo thời gian, nhiều công việc văn phòng sẽ được tối ưu hóa bằng các dịch vụ như GPT
Tôi có đủ cảm nhận kỹ thuật để biết nhiều việc văn phòng mình làm có thể lặp lại và xử lý bằng script, nhưng không đủ để tự viết script. Nhờ ChatGPT, tôi đã có thể tạo các script đó, và mất khoảng 15–20 giờ để làm cho chúng chạy hoàn hảo
Tôi chỉ biết rất ít về scripting Python và hoàn toàn không biết pandas hay xlswriter, nhưng đã có thể tạo ra thứ giúp tiết kiệm 20–25 giờ mỗi tuần
Trên HN có nhiều người giỏi lập trình, nên có vẻ họ đánh giá thấp thế giới mà các dịch vụ như ChatGPT mở ra cho người không lập trình. Ngược lại, nó cũng có thể khiến những người không tò mò học ít hơn. Trước đây, để học cách dừng nhiều dịch vụ snapd bằng script, tôi sẽ phải Google và ghép các mảnh lại; giờ tôi hỏi ChatGPT và nhận được một script chạy được trong chưa đầy 1 phút
Có hai điểm đáng lưu ý trong phần tóm tắt
Có đoạn nói “18 nhiệm vụ tư vấn thực tế nằm trong phạm vi năng lực của AI”. Tức là họ đã cố ý chọn các nhiệm vụ mà GPT-4 có thể làm. Vì có rất nhiều việc GPT-4 không làm được, nên ngay cả khi nói hiệu suất tăng mạnh, cũng cần đặt trong bối cảnh rằng điều đó chỉ giới hạn ở những nhiệm vụ phù hợp với GPT-4
Ngoài ra còn nói “những người có hiệu suất dưới trung bình tăng 43% so với điểm số của chính họ, còn những người trên trung bình tăng 17%”. Dù chỉ chọn các nhiệm vụ đặc biệt phù hợp với GPT-4, mức cải thiện của nhóm trên trung bình cũng chỉ là 17%. Nếu mức tăng như vậy xuất hiện trên diện rộng thì vẫn rất ấn tượng, nhưng tôi cho rằng 17% nhỏ hơn nhiều so với những gì một số người đang cố bán
Người có hiệu suất trên trung bình tự tin vào năng lực của mình nên có khả năng sẽ chỉnh sửa đầu ra của GPT nhiều hơn. Vì vậy nhóm dưới trung bình tạo ra sản phẩm hoàn chỉnh nhanh hơn, và bài kiểm tra này có giới hạn thời gian nên tốc độ hẳn là yếu tố quan trọng
ChatGPT rất mạnh ở việc viết dài dòng, còn câu chữ marketing và thông điệp truyền cảm hứng về bản chất cũng là dài dòng. Nói cách khác, bài tập được thiết kế riêng cho ChatGPT không có trợ giúp, nên những người có hiệu suất cao ngược lại lại bất lợi
Một mức tăng nhỏ về hiệu quả sẽ trở thành lợi thế lớn trong tăng trưởng dài hạn. 17% cũng là một cải thiện rất lớn