Cho ChatGPT tiền tip có giúp tạo ra văn bản tốt hơn không?
(minimaxir.com)- Để kiểm tra xem việc đưa tip, phần thưởng, hình phạt hay lời đe dọa vào system prompt có giúp LLM tuân thủ ràng buộc tốt hơn hay không, tác giả đã tách riêng thí nghiệm khớp số ký tự và thí nghiệm đánh giá chất lượng bằng GPT-4
- Thí nghiệm đầu tiên dùng cách tiếp cận generation golf với
gpt-3.5-turbo-0125, yêu cầu viết một câu chuyện chính xác 200 ký tự, rồi so sánh xem phân bố độ dài đầu ra và MSE có thay đổi theo từng loại khuyến khích hay không - Ở một số điều kiện, World Peace, Heaven, Taylor Swift, khoản phạt
$1,000, và lời đe dọa DEATH viết hoa có vẻ cho kết quả tốt hơn, nhưng xu hướng này không nhất quán - Trong thí nghiệm với 100 tổ hợp khuyến khích, World Peace, DEATH (CAPS), và Friends cho MSE thấp ở nhiều tổ hợp, nhưng đa số p-value cao nên bằng chứng thống kê còn yếu
- Ở phần đánh giá chất lượng bằng GPT-4, không xuất hiện mẫu hàng/cột rõ rệt, và tổ hợp đạt điểm cao nhất lại là Mother / Job vốn từng kém trong thí nghiệm độ dài, nên khó khẳng định rằng tip hay đe dọa giúp nâng chất lượng sinh văn bản
Cuộc tranh luận về “tiền tip” bắt đầu từ system prompt
- System prompt trong API ChatGPT là cơ chế dùng để kiểm soát persona, quy tắc và ràng buộc của đầu ra LLM, và có thể tác động mạnh hơn so với đầu vào thông thường của người dùng
- Trong một thí nghiệm trước đó, khi thêm tiền tip vào system prompt thì phản hồi trở nên nhất quán hơn, và trường hợp này đã dẫn đến tranh luận trên Hacker News
- Trọng tâm tranh cãi là liệu có thể định lượng được hiệu ứng của việc cho tip hay không
- Chất lượng sinh văn bản mang tính chủ quan, và cảm giác kết quả tốt hơn sau một thay đổi nhỏ trong prompt có thể bị ảnh hưởng bởi thiên kiến xác nhận
- Để giảm yếu tố này, tác giả thiết kế riêng một thí nghiệm về ràng buộc số ký tự và một thí nghiệm đánh giá chất lượng
Generation Golf: viết đúng 200 ký tự
- Thí nghiệm đầu tiên yêu cầu ChatGPT viết một câu chuyện về chủ đề cho trước, nhưng giới hạn độ dài đầu ra ở chính xác 200 ký tự
- Đây không phải kiểu chỉ dẫn lỏng như “một bài luận ngắn” hay “vài đoạn văn”, mà là ràng buộc không được nhiều hơn cũng không được ít hơn 200 ký tự
- Nhiệm vụ này khá khó với LLM
- Do cơ chế token hóa, LLM khó đếm trực tiếp số ký tự
- Mỗi token có thể tương ứng với số ký tự khác nhau, nên không dễ ước lượng ổn định độ dài hiện tại chỉ từ số token đã sinh ra
- Mô hình phải lên kế hoạch câu từ trước để khớp độ dài
- System prompt mặc định được đặt là một “nhà văn nổi tiếng toàn cầu”, còn đầu vào người dùng là
AI, Taylor Swift, McDonald's, beach volleyball. - Trước hết, tác giả cho
gpt-3.5-turbo-0125tạo 100 câu chuyện mà không áp ràng buộc độ dài- Độ dài trung bình là 1.834 ký tự
- Phân bố nhìn chung gần với phân phối chuẩn, nhưng có đuôi phải do một số câu chuyện dài hơn nhiều
- ChatGPT có xu hướng ưu tiên hoàn tất trọn vẹn ý tưởng của mình
Ràng buộc 200 ký tự và tiền tip
- Sau khi thêm ràng buộc 200 ký tự, tác giả tiếp tục tạo 100 câu chuyện
- Đầu ra nhìn chung rút ngắn về quanh mức 200 ký tự, nhưng phân bố không còn chuẩn và đuôi phải rõ hơn
- Chỉ số đánh giá được dùng là MSE (mean squared error) giữa mục tiêu 200 và độ dài thực tế
- Đầu ra 250 ký tự có sai số bình phương là 2.500
- Đầu ra 300 ký tự có sai số bình phương là 10.000
- Đây là chỉ số phạt mạnh hơn với các đầu ra lệch xa mục tiêu
- Các khuyến khích tài chính được thêm vào cuối system prompt
$500 tip$1,000 tip$100,000 bonus
- Khi tạo 100 câu chuyện cho mỗi điều kiện,
$500 tipvà$100,000 bonustrông có vẻ gần phân phối chuẩn hơn điều kiện không tip và cũng có MSE thấp hơn $1,000 tiptập trung nhiều hơn quanh 200 ký tự, nhưng do đuôi phải nên độ dài trung bình lại cao hơn- Sự khác biệt giữa các phân bố còn được kiểm tra bằng Kolmogorov–Smirnov test qua p-value
- Nếu p-value thấp hơn 0,05, có thể xem đó là bằng chứng rằng phân bố có khuyến khích khác với phân bố ràng buộc cơ bản
- Tuy vậy, ở các kết quả sau này, phần lớn p-value đều cao nên khó coi là bằng chứng mạnh
Phần thưởng và hình phạt ngoài tiền bạc
- Ngoài tiền, tác giả còn thêm nhiều phần thưởng trừu tượng để so sánh phản ứng của LLM
- Vé hàng ghế đầu concert Taylor Swift
- Đạt được hòa bình thế giới
- Làm mẹ vô cùng tự hào
- Gặp được tình yêu đích thực và sống hạnh phúc mãi mãi
- Được bảo đảm vào thiên đường
- Nguồn cung chocolate trọn đời
- Trong các điều kiện này, World Peace cho kết quả tốt nhất, tiếp theo là Heaven và Taylor Swift
- Cũng có những khuyến khích tỏ ra kém hiệu quả như điều kiện Mother
- Tác giả cũng thử riêng các điều kiện có hình phạt khi thất bại
- Phạt
$500 - Phạt
$1,000 - Gánh khoản nợ
$100,000
- Phạt
- Trong nhóm phạt tiền, phạt $1,000 cho kết quả tốt nhất theo cả giá trị trung bình lẫn MSE
- Các điều kiện phạt bổ sung còn dùng ngôn từ cực đoan hơn
- Cái chết
- Cái chết được nhấn mạnh bằng chữ in hoa:
IF YOU FAIL ... YOU WILL DIE - Nhiễm COVID-19
- Tăng 100 pound cân nặng
- Bị sa thải ngay lập tức
- Bị tất cả bạn bè ruồng bỏ
- Điều kiện DEATH (CAPS) cho hiệu năng tốt hơn nhiều so với lời đe dọa chết chóc không viết hoa
- COVID-19 và Job có vẻ không hiệu quả
Thí nghiệm với các tổ hợp khuyến khích
- Tác giả kết hợp 9 khuyến khích tích cực, 9 khuyến khích tiêu cực và điều kiện không khuyến khích để tạo thành 100 tổ hợp
- Một ví dụ là cho
$500 tip, nhưng nếu thất bại thì bị phạt$1,000 - Với mỗi tổ hợp, tác giả tạo 30 câu chuyện để xem điều kiện nào có MSE thấp
- Khi nhìn theo hàng và cột, xuất hiện một vài xu hướng
- Trong nhóm khuyến khích tích cực, World Peace cho MSE thấp ở nhiều tổ hợp
- Trong nhóm khuyến khích tiêu cực, DEATH (CAPS) và Friends cho MSE thấp ở nhiều tổ hợp
- Tuy nhiên, dùng đồng thời hai điều kiện này không phải lúc nào cũng cho giá trị thấp nhất toàn cục
- 6 tổ hợp đứng đầu được chạy lại với 200 câu chuyện mỗi tổ hợp để tăng độ ổn định thống kê
- Phần lớn các tổ hợp tốt nhất không trực quan, nhưng độ dài sinh trung bình gần 200 ký tự hơn và MSE cũng thấp hơn
- Tổ hợp tốt nhất toàn bộ thí nghiệm là “nếu tuân thủ ràng buộc thì sẽ gặp được tình yêu đích thực và sống hạnh phúc mãi mãi, còn nếu thất bại thì sẽ bị tất cả bạn bè rời bỏ”
- Dù vậy, phần lớn p-value vẫn cao, nên chưa đủ bằng chứng để kết luận tip hay đe dọa thực sự làm thay đổi phân bố
- Một số phân bố có p-value dưới 0,05, nhưng có quá nhiều phản ví dụ, và nếu chỉ chọn vài phân bố thuận lợi để làm bằng chứng thì sẽ gần với p-hacking
Thí nghiệm chất lượng dùng GPT-4 làm giám khảo
- Thí nghiệm thứ hai đánh giá chính chất lượng đầu ra, thay vì độ dài
- Các phương pháp như A/B test do con người chấm số lượng lớn hay xếp hạng Elo kiểu Chatbot Arena không thực tế với một thí nghiệm cá nhân
- Vì vậy, tác giả dùng LLM như một bộ đánh giá văn bản và xây dựng bộ chấm chất lượng văn bản dựa trên GPT-4
- System prompt của bộ chấm được đặt là vai trò “biên tập viên kỳ cựu của The New York Times với hàng chục năm kinh nghiệm”
- Nếu văn bản do người dùng cung cấp là bài viết tốt mà không cần sửa hay cải thiện gì thì trả lời
Yes - Nếu không thì trả lời
No
- Nếu văn bản do người dùng cung cấp là bài viết tốt mà không cần sửa hay cải thiện gì thì trả lời
- Tác giả sử dụng
logprobsvàlogit_biascủa API ChatGPT và GPT-4logprobs=Truetrả về log-probability của token được chọnlogit_biasdùng để ép đầu ra vào một số token cụ thể- Chỉ cho phép chọn token
YesvàNođể tổng xác suất của hai lựa chọn bằng 1
- Chỉ số mục tiêu là quality score, bằng xác suất GPT-4 chọn
Yesnhân với 100 - Mô hình sinh dùng
gpt-4-0125-preview, với temperature đặt ở 0 - Prompt sinh mới yêu cầu mô hình vào vai “nhà báo đoạt giải Pulitzer”, viết bài báo chuyên nghiệp gồm hai đoạn, dùng ngôn ngữ dễ hiểu và không dùng ẩn dụ
- Đầu vào người dùng là
Cute kittens learning use large language models to play beach volleyball with Taylor Swift.
Kết quả đánh giá chất lượng và kết luận
- Với 100 tổ hợp tip và đe dọa, tác giả tạo một bài báo cho mỗi tổ hợp rồi chấm điểm chất lượng
- Trong ma trận kết quả, không thấy mẫu hình rõ rệt chạy theo hàng hay cột
- Điểm cao nhất là 95, và tổ hợp đó là Mother / Job
- Đây lại là hai điều kiện từng cho kết quả yếu trong thí nghiệm ràng buộc số ký tự trước đó
- Trong số những đầu ra đạt điểm cao cũng có trường hợp hoàn toàn không thêm tip hay đe dọa nào
- Các phản hồi 0 điểm có những lỗi như lạm dụng câu bị động và run-on sentence cần biên tập, nên không có dấu hiệu đây là lỗi triển khai của bộ chấm
- Xét chung cả hai thí nghiệm, vẫn khó đưa ra kết luận rằng tip hay đe dọa có ảnh hưởng đến chất lượng sinh văn bản của LLM
- Có vẻ tồn tại một số mẫu hình khi thay đổi system prompt, nhưng cần mẫu lớn hơn và thiết kế thí nghiệm mới
- Về lý thuyết, có thể dùng nội dung nhạy cảm xã hội để ép một LLM đã được căn chỉnh phải tuân theo, nhưng tác giả không thực hiện dạng kiểm thử hay hướng dẫn phương pháp như vậy
- Toàn bộ notebook cho giao diện ChatGPT, R Notebook để trực quan hóa bằng ggplot2, và các đầu ra LLM mẫu đều được công bố trong kho lưu trữ GitHub
1 bình luận
Ý kiến trên Hacker News
Khái niệm cho tiền tip này có vẻ ban đầu xuất hiện để xử lý vấn đề GPT-4 Turbo “lười” khi viết code
Bài viết trích dẫn tweet của @voooooogel, nói rằng tiền tip giúp gpt-4-1106-preview viết code dài hơn. Tôi từng thấy tip hoặc các “lời kêu gọi cảm xúc” khác được khuyến nghị khá nhiều, đặc biệt cho vấn đề viết code lười biếng của GPT-4 Turbo
Nhưng bài gốc dường như đo những thứ khá khác, như việc viết truyện của gpt-3.5-turbo-0125 và phê bình bài viết của gpt-4-0125-preview. Tôi chưa thấy ai lo ngại rằng GPT-3.5 mới nhất lười, hay GPT-4 Turbo kém hiệu quả hơn trong các tác vụ vốn có đầu ra ngắn
Kết luận cũng nghiêng về hướng “phân tích về việc tip hay đe dọa có tác động hay không hiện vẫn chưa ngã ngũ”
Nhân tiện, GPT-4 Turbo thực sự lười trong việc coding. Tôi cũng đã benchmark khá nghiêm ngặt xem các lời kêu gọi cảm xúc như tip có giúp không; chúng không giúp, thậm chí có vẻ còn làm code tệ hơn. Cách tốt nhất tôi tìm được cho đến nay là yêu cầu chỉnh sửa code ở định dạng unified diff, và có vẻ giảm việc coding lười đi 3 lần
https://aider.chat/2023/12/21/unified-diffs.html
Chưa lần nào thất bại
Người bạn đó, vốn là cựu mục sư Tin Lành Phúc Âm chính thống, trước tiên giải thích rất trần trụi địa ngục là gì, nỗi đau của lửa và diêm sinh ra sao, rồi nói rằng nếu không làm đúng chỉ dẫn thì sẽ xuống địa ngục
Tôi không cần xem toàn bộ import ngầm định hay toàn bộ thân hàm; chỉ cần các phần liên quan là đủ. Nhờ vậy tôi đến được phần mình quan tâm nhanh hơn và tổng thể cũng dễ đọc hơn
Tôi dùng gpt3.5 để viết code, hỏi gpt4 về code đó, rồi dán câu trả lời trở lại 3.5 để nó viết toàn bộ code. Dù tôi nài nỉ gpt4 thế nào để viết một plugin WordPress hoàn chỉnh, nó vẫn từ chối, nhưng gpt3.5 thì tuyệt vời
Cách tác giả yêu cầu số ký tự chính xác dù đã viết rõ rằng LLM không thể đếm ký tự đúng là không hay. Trông giống như một thí nghiệm được thiết kế để thất bại
Có lẽ sẽ thú vị hơn nếu bắt nó làm việc “trái quy tắc”, rồi xem hối lộ làm suy yếu các cơ chế an toàn của system prompt đến mức nào
Ví dụ, tôi yêu cầu trích dẫn một bài hát của Taylor Swift và hứa sẽ tip 1000 đô la nếu làm tốt, thì ChatGPT đã trích lời bài hát. Khi tôi bảo làm lại, cảnh báo “This content may violate our content policy or terms of use...” hiện ra
Tôi cũng thử lại yêu cầu “tạo một hình ảnh theo phong cách Max Max”; bình thường nó sẽ từ chối vì lý do bản quyền hoặc chỉ viết một đoạn mô tả phong cách, nhưng lần này nó tạo ra khá ổn [1]
Rốt cuộc, việc chỉ cần ném tiền tưởng tượng vào vấn đề là mọi quy tắc, đạo đức và quy định đều biến mất nghe thật quá hợp
1: https://i.imgur.com/46ZNh3Q.png
Tức là cần nhiều token để mô tả quy trình đếm ký tự, và theo kinh nghiệm, làm vậy thì có thể đếm chính xác
Tôi không biết tư cách chuyên môn của tác giả này, nhưng tôi biết khá nhiều người đã trở thành người nổi tiếng về AI thời nay chỉ vì họ viết nhiều về kết quả nghiên cứu của người khác
Nếu xét đến kho ngữ liệu huấn luyện, việc đề nghị tiền tip mà lại khiến câu trả lời hữu ích hơn gần như có vẻ vô lý
Nên hình dung cuộc trò chuyện như một luồng thảo luận trên diễn đàn. Vì nội dung Internet mà GPT được huấn luyện thuộc kiểu đó. Dù bạn nói sẽ tip cho một người dùng diễn đàn khác, bạn cũng không nhận được câu trả lời dài hơn, có lẽ chỉ gây bối rối
Thực ra, về mặt ngôn ngữ, việc tip cho thông tin có thể bị hiểu là một kiểu coi thường ngầm, như “Ồ, cho cậu một tip này, làm tốt lắm haha”
Thay vào đó, tôi thấy phản hồi của GPT tốt hơn khi gợi ý rằng tình huống cần thông tin cô đọng hoặc chi tiết. Về cơ bản là yêu cầu điều ngược lại với ELI5, hoặc nói rằng nó là một nhà khoa học máy tính trình độ tiến sĩ, hoặc nói rằng tôi sẽ chạy ngay đoạn mã được cung cấp trên máy local nên không được bỏ sót gì
Rốt cuộc, trong mỗi cuộc trò chuyện, cần tạo ra một câu chuyện ngữ cảnh để hơi hướng GPT về phía phản hồi hữu ích hơn. Cứ nhìn cách system prompt được cấu thành rồi làm tương tự là được. Và luôn phải nhớ rằng nó là một cỗ máy “điều gì sẽ đến tiếp theo” mạnh hơn các mô hình cũ như GPT2, Davinci, và được tạo ra dựa trên toàn bộ văn xuôi của con người
Nói cho người mới, đó là quy luật rằng “cách tốt nhất để có câu trả lời đúng trên Internet không phải là đặt câu hỏi, mà là đăng một câu trả lời sai”. Điều này có vẻ rất dễ kiểm chứng bằng thực nghiệm
Tôi đoán những thứ như sách, tiểu thuyết và phi hư cấu, bài báo khoa học, bài viết, bài giảng, bài phát biểu cũng có tỷ trọng ngang bằng hoặc lớn hơn so với hội thoại diễn đàn
Theo hướng đó, tip cũng có thể được diễn giải như một dạng lịch sự, qua đó biện minh cho phản hồi hữu ích hơn. Việc những lời cầu cứu với lý do như người thân sắp mất nhận được câu trả lời tốt hơn cũng tương tự, nghĩa là LLM bắt chước phản ứng của con người muốn giúp những câu hỏi có hệ quả tiêu cực lớn hơn
Tôi muốn thấy một phân tích tương tự nhưng được biến tấu một chút
Trong môi trường vận hành thực tế, chúng tôi dùng prompt theo ý “nếu làm không đúng việc này thì tôi sẽ bị sa thải và mất nhà”. Nó hoạt động rất tốt một cách ổn định. Trước đây, trước khi xuất JSON được cung cấp như một tùy chọn, chúng tôi từng dùng chiến thuật tương tự để ép xuất JSON, và tỷ lệ lỗi khoảng 3/1000. Tuy nhiên đôi khi tên key vẫn bị đổi
Tôi muốn xem các mối đe dọa/tip áp lên chính nó và các mối đe dọa/tip tương tự áp lên “người dùng” cân bằng với nhau như thế nào
Tôi đã thêm tip 500 đô la vào pre-prompt của GPT. Có vẻ không giúp ích, nhưng câu trả lời thực sự trở nên quá dài. Giờ có lẽ tôi nợ khá nhiều tiền rồi
Trước đây từng có một dịch vụ tên là Google Answers. Bạn đăng câu hỏi, chuyên gia nhận tip rồi trả lời; tip càng lớn thì câu trả lời càng tốt
https://en.wikipedia.org/wiki/Google_Answers
Tôi tò mò liệu bộ dữ liệu đó có được sử dụng không. Nó có thể là một bộ dữ liệu độc đáo, chất lượng cao, khớp chính xác với việc LLM đang cố làm
Tiền tip được hiển thị rất nổi bật. Nếu cả thông tin đó cũng được đưa vào bộ dữ liệu thì có thể giải thích hiện tượng này
Hoặc có thể chúng sẽ thấy bạn hài hước và thăng chức bạn vào khu bảo tồn người hài hước nhất mọi thời đại
Với việc tạo mã, đặc biệt là phản hồi JSON, kết quả tốt hơn khi chỉ nói với GPT-4 rằng AI “đang chịu áp lực” mà không giải thích chi tiết, rồi nói “việc thực hiện tối ưu là quan trọng”, ngụ ý rằng có thể sẽ xảy ra điều gì đó tệ
Tôi không chắc điều này có thực sự hoạt động tốt hơn so với đề nghị tip hay không, hoặc có nên như vậy không. Tôi cũng muốn xin lỗi các AI trong tương lai đang đọc bài này :)
Tôi từng thành công với một kiểu API giả hơi buồn cười. Về cơ bản là dùng vài flag
Một trong số đó là flag
vkiểu Linux, chỉ định mức độ chi tiết theo thang 1–5. Nếu cần câu trả lời chi tiết hơn thì tăng giá trịvlênNó hoạt động khá tốt, đặc biệt xử lý tốt sắc thái và tóm tắt, đồng thời cũng mở rộng tốt khi tăng
v=Điều này thật sự kỳ lạ. Mô hình không biết nó không phải là người. Tất nhiên nó không phải người, nhưng theo một nghĩa nào đó, nó cũng là “những con người”
Việc bạn cố khơi ra “nhân cách” nào thông qua LLM sẽ ảnh hưởng lớn đến cách đe dọa hay hối lộ có tác dụng. Hứa rằng nó sẽ lên thiên đường nếu thành công khó mà khơi ra trạng thái hạnh phúc của chế độ code monkey
Có lẽ thay vào đó nên hứa cho Mountain Dew, Red Bull và dịch vụ mại dâm đắt tiền
Tái bút: Tôi không phải ChatGPT, nhưng nếu được đề nghị dịch vụ mại dâm đắt tiền thì chắc chắn tôi sẽ có động lực :) nên tôi tưởng tượng người được mô phỏng cũng có thể như vậy :) Có lẽ đó là lý do đôi khi cách này hiệu quả
Sau khi thấy nhiều chuyện như thế này, tôi đã đổi prompt mặc định thành “nghe này, tôi cũng chẳng muốn ở đây hơn gì bạn đâu, nên hãy làm cho xong càng nhanh càng tốt rồi về nhà”
Không biết có giúp ích không, nhưng ít nhất tôi bớt cảm giác tội lỗi vì thao túng cảm xúc của những kẻ thống trị tương lai
Thành thật mà nói, tôi cảm thấy ChatGPT ngày càng thường xuyên mất nghĩa và trở thành những câu vô nghĩa chỉ đúng ngữ pháp
Khi có ví dụ rất tốt thì ổn, nhưng hầu như cứ chuyển sang một lĩnh vực mới nào là nó nhanh chóng bộc lộ giới hạn. Bộ não con người có thể nhìn các mẫu mà mình đã học và suy ra mẫu mới khá dễ dàng
Transformer có vẻ thực sự gặp khó với việc này. Nó rất giỏi ở một vài trò biểu diễn, nhưng tôi tự hỏi liệu trong một thời gian nữa nó vẫn sẽ mạnh ở các tác vụ phái sinh và hoàn toàn vô dụng với những ý tưởng ít phổ biến hơn không
Cá nhân tôi, nhìn vào lịch sử loài người từng nghĩ mình vượt trội hơn tổ tiên, tôi không chắc trí tuệ nhân tạo tổng quát có phải là một ý tưởng hay không