Tinh chỉnh GPT-3.5 Turbo và cập nhật API
(openai.com)- Nhà phát triển giờ đây có thể dùng GPT‑3.5 Turbo với dữ liệu riêng để điều chỉnh cho phù hợp với trường hợp sử dụng của mình, và tính năng tinh chỉnh GPT‑4 dự kiến sẽ được cung cấp vào mùa thu
- Trong các thử nghiệm ban đầu, GPT‑3.5 Turbo đã được tinh chỉnh cho thấy hiệu năng ngang bằng hoặc tốt hơn GPT‑4 cơ bản trong một số tác vụ hẹp, đồng thời dữ liệu đầu vào/đầu ra của API vẫn thuộc quyền sở hữu của khách hàng
- Các khách hàng private beta xác nhận có cải thiện về tuân thủ chỉ dẫn, độ ổn định của định dạng đầu ra và khả năng điều chỉnh theo giọng điệu thương hiệu; tính năng tinh chỉnh GPT‑3.5 Turbo xử lý 4k token
- Một số early tester đã huấn luyện các chỉ dẫn trực tiếp vào mô hình, giúp giảm kích thước prompt tới 90%, từ đó có thể giảm chi phí và tăng tốc độ gọi
- Cùng với việc ngừng các mô hình GPT‑3 base hiện có,
babbage-002vàdavinci-002được cung cấp làm mô hình thay thế, và/v1/fine_tuning/jobsmới sẽ thay thế/v1/fine-tunes
Đã có tinh chỉnh GPT‑3.5 Turbo
- Nhà phát triển giờ đây có thể mang dữ liệu riêng của mình vào để tùy biến GPT‑3.5 Turbo cho phù hợp với trường hợp sử dụng
- Tính năng tinh chỉnh GPT‑3.5 Turbo hiện đã có, còn tinh chỉnh GPT‑4 dự kiến sẽ được cung cấp vào mùa thu
- Trong các thử nghiệm ban đầu, GPT‑3.5 Turbo sau khi tinh chỉnh cho kết quả ngang bằng hoặc tốt hơn khả năng của GPT‑4 cơ bản trong một số tác vụ hẹp
- Dữ liệu được gửi và nhận qua API tinh chỉnh thuộc quyền sở hữu của khách hàng, và không được OpenAI hay tổ chức nào khác dùng để huấn luyện các mô hình khác
- Chính sách liên quan: API data privacy
Các trường hợp sử dụng có hiệu năng cải thiện
- Các khách hàng private beta đã cải thiện hiệu năng trong nhiều trường hợp sử dụng phổ biến bằng supervised fine-tuning
- Cải thiện tuân thủ chỉ dẫn: có thể khiến mô hình tuân theo chỉ dẫn tốt hơn, như tạo đầu ra ngắn gọn hơn hoặc luôn trả lời bằng một ngôn ngữ cụ thể
- Định dạng đầu ra ổn định: duy trì định dạng nhất quán tốt hơn trong các ứng dụng cần một kiểu phản hồi cụ thể, như hoàn thành mã hoặc tạo lời gọi API
- Giọng điệu tùy chỉnh: có thể điều chỉnh giọng điệu đầu ra của mô hình nhất quán hơn để phù hợp với tiếng nói thương hiệu của doanh nghiệp
- Tinh chỉnh không chỉ giúp cải thiện hiệu năng mà còn có thể được dùng để rút ngắn prompt trong khi vẫn giữ hiệu năng tương tự
- Tính năng tinh chỉnh GPT‑3.5 Turbo xử lý 4k token, gấp đôi so với các mô hình tinh chỉnh trước đây của OpenAI
- Các early tester đã huấn luyện các chỉ dẫn trực tiếp vào bản thân mô hình, giúp giảm kích thước prompt tới 90%, hỗ trợ tăng tốc độ gọi API và giảm chi phí
- Tinh chỉnh phát huy hiệu quả mạnh nhất khi kết hợp với các kỹ thuật khác như prompt engineering, truy xuất thông tin, function calling
- Có thể xem cách sử dụng trong fine-tuning guide
- Hỗ trợ tinh chỉnh cho function calling và
gpt-3.5-turbo-16kdự kiến sẽ được cung cấp vào cuối mùa thu
Xử lý an toàn và giá
- OpenAI đưa dữ liệu huấn luyện qua Moderation API và hệ thống moderation dựa trên GPT‑4 để bảo toàn các tính năng an toàn của mô hình cơ sở
- Quy trình moderation này nhằm phát hiện dữ liệu huấn luyện không an toàn, xung đột với các tiêu chuẩn an toàn
- Chi phí tinh chỉnh GPT‑3.5 Turbo được chia thành chi phí huấn luyện và chi phí sử dụng
- Huấn luyện: $0.008 cho mỗi 1K token
- Đầu vào sử dụng: $0.012 cho mỗi 1K token
- Đầu ra sử dụng: $0.016 cho mỗi 1K token
- Ví dụ, chi phí ước tính cho một tác vụ tinh chỉnh
gpt-3.5-turbovới tệp huấn luyện 100.000 token và 3 epochs là $2.40
Thay thế mô hình GPT‑3 và thay đổi API
- OpenAI đã thông báo vào tháng 7 năm 2023 rằng các mô hình GPT‑3 base hiện có là
ada,babbage,curie,davincisẽ ngừng hoạt động vào ngày 4 tháng 1 năm 2024 babbage-002vàdavinci-002là các mô hình thay thế cho những mô hình đó, và có thể được dùng làm mô hình base hoặc mô hình tinh chỉnh- Khách hàng có thể gọi Completions API để truy cập
babbage-002vàdavinci-002 - Các mô hình này có thể được tinh chỉnh qua endpoint API mới là
/v1/fine_tuning/jobs - Endpoint mới cung cấp phân trang và khả năng mở rộng cao hơn để hỗ trợ sự phát triển trong tương lai của fine-tuning API
- Cách chuyển từ endpoint
/v1/fine-tunescũ sang endpoint mới được trình bày trong fine-tuning guide - Endpoint
/v1/fine-tuneshiện tại sẽ bị deprecated và dự kiến ngừng hoạt động vào ngày 4 tháng 1 năm 2024
1 bình luận
Ý kiến trên Hacker News
Có ai có thể giải thích dễ hiểu fine-tuning thực sự làm gì không?
Tôi thắc mắc liệu nó là cách chỉ cho mô hình cách trả lời câu hỏi, cung cấp thông tin mới cho mô hình, hay cả hai
Ví dụ, nếu tôi muốn dùng LLM để trả lời câu hỏi về một cơ sở tri thức riêng tư lớn, thì có đúng là nên fine-tune mô hình bằng cơ sở tri thức đó không; nếu đúng thì làm sao giảm hallucination, và liệu cách này có tốt hơn việc đưa các tài liệu liên quan vào prompt mỗi lần không
Trong một prompt mới, “tương tự” chính xác là gì thì gần như là thứ ma thuật đen của khả năng khái quát hóa
Có thể dùng để dạy phong cách, thông tin, hoặc cả hai, nhưng không có cách hoàn hảo nào để bắt mô hình chỉ trả lời bằng dữ liệu fine-tuning
Nếu đưa vào nhiều ví dụ từ chối các chủ đề không liên quan đến X thì có thể kỳ vọng hiệu quả ở mức nào đó
Với một cơ sở tri thức riêng tư lớn, thường không nên fine-tune mà nên dùng cách tiếp cận dựa trên tìm kiếm
Nếu đưa thông tin vào input, bạn có thể kiểm tra nguồn, và mô hình dễ trả lời mà không hallucination hơn
Tuy nhiên tìm kiếm mạnh với các câu hỏi kiểu tra cứu, còn có thể yếu ở những câu hỏi cần so sánh hoặc kết hợp nhiều nguồn, nên fine-tuning có thể có một số lợi thế
Bài blog này có vẻ cũng nghiêng về hướng đó
Tôi cũng tò mò OpenAI fine-tune như thế nào, nhưng có lẽ không phải LoRA
Như có thể thấy qua hallucination, mô hình ngôn ngữ không phải là công cụ để lưu trữ hoặc truy cập dữ liệu
Nếu muốn lưu trữ và truy cập dữ liệu, dùng embedding + cơ sở dữ liệu vector là hợp lý hơn
Fine-tuning dùng để thay đổi loại ngôn ngữ mà mô hình tạo ra
Nếu muốn AI viết như nhà báo thì fine-tune bằng bài báo; nếu muốn AI viết đánh giá thì fine-tune bằng các bài đánh giá
Tham khảo https://huyenchip.com/2023/05/02/rlhf.html
Điều này khá khác với việc fine-tune chính mô hình nền tảng hoặc làm RLHF
Nó có thể rất phù hợp để điều chỉnh mục tiêu, khiến mô hình hành xử theo một cách cụ thể hoặc làm một tác vụ khác, thay vì làm chatbot chung chung
Ngược lại, việc thêm tri thức cho bot gần với grounded generation hoặc retrieval-augmented generation (GG/RAG) hơn, tức là cách tiếp cận bổ sung dữ liệu mới, ví dụ dữ liệu mật, cho mô hình nền tảng
Với hỏi đáp trên một cơ sở tri thức riêng tư lớn thì cách này không phù hợp, và tôi nghĩ GG/RAG hợp hơn
Tôi cũng có một bài viết gần đây liên quan: https://vectara.com/fine-tuning-vs-grounded-generation/
Nhìn ở mức cao, nó cho phép đưa vào mô hình nhiều dữ liệu hơn mức có thể đưa vào prompt
Một cơ sở tri thức riêng tư lớn là một trong những ví dụ tiêu biểu được nêu trong khóa học đó, và với các kịch bản chuyên biệt theo miền hoặc coi trọng quyền riêng tư, fine-tuning có thể hợp lý hơn prompting
Câu “dữ liệu huấn luyện fine-tuning sẽ đi qua Moderation API và hệ thống kiểm duyệt dựa trên GPT-4” nghe có vẻ khá tốn kém
Nhìn vào giá API thì chạy suy luận GPT-4 còn đắt hơn huấn luyện mô hình, nên có lẽ họ chỉ dùng GPT-4 khi việc đánh giá an toàn còn mơ hồ
Nếu tôi đã biết kiểu ngôn ngữ mình muốn, tôi không hiểu vì sao phải để OpenAI kiểm duyệt dataset điều chỉnh tham số của mình
Khi fine-tune Llama2 13B hoặc 70B, thường phải thuê GPU đám mây, nên tôi tò mò so với fine-tuning của OpenAI thì thế nào
Với OpenAI thì không cần tự thuê hạ tầng, chi phí được tính trong phí sử dụng; tôi muốn nghe so sánh từ góc nhìn của những người có kinh nghiệm fine-tune mô hình Llama2
Tôi nghĩ “fine-tuning” của GPT khác với việc fine-tune các mô hình như Llama2
Có khả năng họ không điều chỉnh toàn bộ trọng số của mạng mà chỉ điều chỉnh một phần rất nhỏ, và OpenAI làm chính xác thế nào là công nghệ độc quyền
Sự đánh đổi là fine-tuning của OpenAI rẻ hơn, nhưng kém mạnh hơn fine-tuning “thật sự”
Đặc biệt nếu 13B là đủ, và trên modal.com bạn có thể chạy suy luận mô hình llama2 13B đã fine-tune với mức khoảng $0.003 cho mỗi 1K token
Chắc chắn còn có các lựa chọn rẻ hơn
Nếu dữ liệu không quá lớn, chi phí huấn luyện llama2 thường cũng chỉ ở mức vài đô la
Thấy davinci-002 được cung cấp dưới dạng mô hình completion nên tôi tưởng họ lại cung cấp cả mô hình “không an toàn”, nhưng cả davinci-002 và babbage-002 đều rơi vào vòng lặp vô hạn với các yêu cầu completion “không an toàn”
text-davinci-003 và text-curie-001 thì vẫn ổn, nhưng có vẻ OpenAI thực sự không muốn cung cấp mô hình không kiểm duyệt để sử dụng
Chi phí tạo nội dung của GPT-3.5 Turbo đã được fine-tune cao gấp 8 lần so với mô hình cơ bản, nên để có hiệu quả chi phí thì phải rơi vào mức “giảm 90% kích thước prompt” mà OpenAI nói đến
Có khi dùng few-shot prompting, tức đưa vài ví dụ vào mỗi prompt để dẫn dắt đầu ra, lại tốt hơn
Tất nhiên không phù hợp với mọi use case, nhưng đáng để thử nghiệm
Hơn nữa function calling cũng chưa dùng được cho đến sau mùa thu năm nay
Hiện phần lớn mức sử dụng của tôi là function calling nên có lẽ trước mắt sẽ bỏ qua
Tôi tò mò kết luận về fine-tuning của OAI là gì; trước đây trong thread này không khí chung là nó không thật sự cần thiết: https://news.ycombinator.com/item?id=37174850
Tôi tự hỏi con số 90% đó có phải chính là con số xuất phát từ phép tính ở trên không
Nếu chỉ so sánh GPT-3.5-turbo với GPT-3.5-turbo đã fine-tune thì nói vậy là đúng, nhưng nếu nó tương tự fine-tuning các mô hình Llama-2, thì trong nhiều use case thực tế như tạo truy vấn SQL, có thể đạt hiệu năng ngang GPT-4
Tuy nhiên toán học hay lập trình có khả năng vẫn khó, trừ khi fine-tune bằng một lượng dữ liệu đáng kể
Thực tế, mô hình Llama-2 7B cũng từng cho thấy hiệu năng ngang GPT-4 sau khi fine-tune: https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
GPT-3.5 đối với tôi quá tệ nên không hữu dụng
Khi viết thì nó lặp lại cùng một kiểu thuật ngữ chuyên môn, khi code thì sai quá thường xuyên, còn xử lý ngôn ngữ tự nhiên cũng phải nói rõ ràng hơn nên cảm giác chỉ như một chatbot trung bình
GPT-4 giá $20/tháng tốt hơn rất nhiều ở mọi mặt, và tôi cũng dùng nó cho công việc Angular
Khi AI giải thích mọi lý do, framework được thiết kế quá mức này cũng bắt đầu thực sự trở nên dễ hiểu
Rất tốt để có bên cạnh như một biên dịch viên, giáo viên và trợ lý giải quyết vấn đề; nếu nó còn tốt hơn nữa thì khó mà tưởng tượng việc phải Google để tìm đáp án
Tính năng tôi muốn là chia nhỏ prompt tích hợp sẵn
Tôi nghĩ hãy bỏ qua các phiên bản GPT cũ và những tranh cãi đạo đức giả tạo, tập trung vào phiên bản tốt nhất của công nghệ này rồi bán với giá $20/tháng, họ có thể kiếm hàng tỷ đô và làm đảo lộn rất nhiều thứ trên mạng
Câu trả lời trở nên lặp lại và nhạt nhẽo
Nếu không định biến nó thành sản phẩm thì công sức đó không đáng lắm
Tuy vậy, nhiều sản phẩm hoặc tính năng LLM có giá trị có phạm vi hẹp hơn, và fine-tuning có thể mang lại cải thiện lớn
Ví dụ trong tạo truy vấn SQL, từng có thử nghiệm fine-tune mô hình Llama-2 7B và vượt GPT-4: https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
LLM tỏa sáng khi khó đặt đúng câu hỏi cho Google
Một câu như “Trước đây tôi nghe nói Google có nghiên cứu về nhân viên mới và GPA, trong đó nói rằng nếu GPA trên 3.0 thì không có khác biệt. Bạn có thể đưa link nghiên cứu đó không? Có nghiên cứu tiếp theo nào không?” rất khó tìm trên Google, và dễ bị chìm trong các liên kết về GPA tối thiểu và tuyển dụng
Bard đưa thông tin về Laszlo Bock và cuốn sách của ông ấy, giúp có thể tìm kiếm tinh chỉnh hơn như “Laszlo Bock Google GPA”
Tôi đã đưa cùng câu đó vào nhiều LLM; ChatGPT trả lời theo giới hạn kiến thức, Bard tìm ra ngay, còn Hugging Face Chat đưa cả Bock, Project Oxygen và Project Aristotle nên là tốt nhất
Claude không tìm được nghiên cứu nhưng đề xuất các ứng viên khác, còn LLaMa cũng không tìm được nhưng đưa ra nghiên cứu của Google và một số cái tên
Tôi đồng ý với nhận định rằng fine-tuning vì độ chính xác làm kết quả tệ đi
Alignment đồng thời cũng là misalignment, vì nó dịch chuyển phân phối xác suất nên chắc chắn có đánh đổi
Đáng tiếc là nghiên cứu trong lĩnh vực này không phổ biến, và những phương pháp cần thiết đòi hỏi thảo luận sâu về các mạng gây tranh cãi cũng như xác suất/phân phối, nên hiện có vẻ dễ bị các hội nghị hàng đầu từ chối
Tinh chỉnh theo sở thích con người thực ra không phải tinh chỉnh theo tri thức, mà là theo kết quả con người thích
Nó giống như đưa vào mô hình một thiên lệch để hack thước đo đánh giá là con người; ngay cả khi độ chính xác sự thật trung bình tăng, nó vẫn có thể làm LLM tệ hơn bằng cách khiến thông tin sai được trình bày thuyết phục hơn
Cần hết sức cẩn trọng với nghịch lý Simpson và nghịch lý Berkson, nơi cách tổng hợp dữ liệu làm hỏng đánh giá; về cơ bản chúng ta đang tinh chỉnh thông qua định luật Goodhart
Nếu có ai từng fine-tune một mô hình lớn như thế này thì tôi tò mò thường cần bao nhiêu dữ liệu để có hiệu quả
Muốn biết 100k token nêu trong tài liệu có thật sự có thể ảnh hưởng lớn đến hành vi của mô hình nền hay chỉ là ví dụ đồ chơi
Con số chính xác thay đổi rất nhiều tùy use case
Khuyến nghị là trước tiên bắt đầu với 50 demo được làm tốt và xem có tín hiệu cải thiện hay không
Nếu vẫn chưa đủ nhưng có cải thiện, khả năng là càng thêm dữ liệu sẽ càng tiếp tục tốt hơn; còn nếu không có cải thiện thì trước khi tăng số ví dụ nên suy nghĩ lại về thiết lập tác vụ hoặc cấu trúc dữ liệu
Chỉ với vài nghìn ví dụ cũng có thể thay đổi khá lớn hành vi cũng như nội dung/cách thức đầu ra của mô hình
Các cơ chế như LoRA là phương pháp fine-tuning rất hiệu quả, dù có đánh đổi bằng mất mát độ chính xác, và chỉ cần thay đổi vài tầng phía trên cũng làm mô hình biến đổi khá nhiều
Ví dụ có https://huggingface.co/datasets/b-mc2/sql-create-context và https://huggingface.co/datasets/GEM/viggo
Ngược lại, để học giải toán tiểu học thì 8K ví dụ cũng không đủ, nên phụ thuộc vào bài toán là rất lớn
Tham khảo: https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe..., https://huggingface.co/datasets/gsm8k
Bắt đầu từ 1000 token đã thấy cải thiện
Nhìn như một quy trình: tung thứ ban đầu định công bố ra dưới dạng beta miễn phí rồi sửa bug, sau đó đưa người anh em mạnh hơn vào dịch vụ thuê bao, làm suy yếu mạnh cả hai, rồi tung fine-tuning để có thể đưa GPT-3.5 đã bị suy yếu trở lại gần mức lúc ra mắt, nhưng chỉ khi fine-tune đúng cách; còn phiên bản không bị suy yếu thì giữ lại dùng nội bộ cho Microsoft, rồi kiếm lợi nhuận
Thà Google còn thẳng thắn hơn
Họ có sản phẩm tốt nhất nhưng giá trị lớn hơn với vai trò công cụ nội bộ nên không công bố; sau khi GPT ra mắt thì công bố Bard để giữ giá cổ phiếu, nhưng nó không tốt lắm và có lẽ cũng sẽ không thật sự ra mắt đúng nghĩa
Dù vậy Meta ít nhất cũng tung ra mã nguồn mở một phiên bản đã bị suy yếu
Vài tháng trước, với GPT-4 thì năng suất thật sự tăng khủng khiếp, còn giờ cảm giác như quay lại làm lập trình viên solo
Dùng bây giờ nhiều khi mất thời gian sửa lỗi còn nhiều hơn thời gian tiết kiệm được, nên tự làm luôn lại hay hơn
Vì vậy tôi hiểu lý do họ không muốn trao nó cho người khác
Nếu định trả lời kiểu rõ ràng sai như “nó không bị suy yếu” thì mong đừng làm mất thời gian
Tôi tò mò về quyền riêng tư
OpenAI nói không dùng các lệnh gọi API để huấn luyện mô hình, nhưng tôi muốn biết OpenAI hoặc Microsoft có vẫn lưu văn bản hay không, và nếu có thì lưu trong bao lâu
Nhìn chung thì rất tuyệt và tôi mong chờ fine-tuning 16k
Nếu muốn được miễn yêu cầu này thì có mẫu đơn đăng ký
https://learn.microsoft.com/en-us/legal/cognitive-services/o...
Họ không làm gì đáng ngờ với dữ liệu đã lưu; đúng nghĩa chỉ nhằm điều tra các vi phạm có thể có về niềm tin và an toàn trong một thời gian ngắn sau khi phát sinh
Nếu vậy, tôi tò mò bảo đảm quyền riêng tư nào cho thấy OpenAI sẽ không dùng nó để mở rộng GPT-5 sau này
Khá thú vị
Đây là lần đầu mô hình “Chat” của OpenAI có thể fine-tune
Tôi tò mò hiện đã có ai thử dùng mô hình fine-tune để vượt qua trình phát hiện AI chưa
Tôi biết là có thể, nhưng muốn có cảm giác nên cấu trúc dataset như thế nào
Ai trả tiền dùng chúng là đang bị lừa, còn ai dùng chúng cho quyết định thực tế thì đang mắc sai lầm nghiêm trọng
Việc một số trường dùng trình phát hiện AI để bắt xem học sinh có viết bài luận bằng ChatGPT hay không thật sự đáng buồn
Có nhiều trường hợp bài luận rõ ràng do người viết lại bị gắn nhãn là do AI tạo
Chỉ cần chơi thử 30 phút bằng cách bảo ChatGPT viết bài luận là đã hiểu được văn phong của ChatGPT
Nếu prompt tốt thì cũng có thể khiến nó viết theo phong cách khác, nhưng nói thật, người dùng ChatGPT để làm bài tập thường không bỏ công làm cho nó trông không giống ChatGPT
Chúng không hoạt động, và hiện đã không thể phát hiện văn bản do GPT tạo
Không thể phát hiện với độ chắc chắn đáng tin cậy rằng văn bản do người hay ChatGPT tạo ra
Những trình phát hiện như vậy hỏng hoàn toàn, và chỉ cần dẫn dắt quá trình suy nghĩ đơn giản cũng có thể nhận được kết quả không “nghe” như ChatGPT
Sau đó thì khả năng bị phát hiện là AI cũng tương tự như văn bản do người viết