Những bài học rút ra sau khi huấn luyện với 500 triệu token GPT

Prompt ngắn gọn cho kết quả tốt hơn khi dùng GPT

• GPT lại dễ bị rối nếu bạn mô tả quá mức trong prompt những điều mà nó đã biết như kiến thức phổ thông
• Ví dụ, trong tác vụ phân loại bang (state) được nhắc đến trong văn bản, việc chỉ đơn giản yêu cầu tên bang cho kết quả chính xác hơn so với việc cung cấp danh sách 50 bang

Chỉ với chat API của OpenAI cũng đã đủ để triển khai nhiều tính năng đa dạng và mạnh mẽ

• Có thể đơn giản triển khai các chức năng cần thiết như trích xuất JSON chỉ bằng chat API mà không cần thêm công cụ như Langchain
• Khi nâng cấp mô hình GPT, chỉ cần sửa một chuỗi trong codebase
• Chỉ cần thêm một ít logic đơn giản để xử lý lỗi của OpenAI API và giới hạn độ dài đầu vào

Khó xử lý trường hợp GPT không tìm thấy gì

• Với prompt kiểu "nếu không tìm thấy gì thì trả về giá trị rỗng", GPT thường bịa ra thứ gì đó hoặc trở nên thiếu tự tin
• Giải pháp là không gửi prompt cho GPT khi đầu vào rỗng

GPT chỉ có thể tạo đầu ra với độ dài giới hạn

• Giới hạn đầu vào của GPT-4 là 128k token nhưng giới hạn đầu ra chỉ có 4k token
• Khi yêu cầu danh sách các đối tượng JSON, GPT khó có thể tạo ổn định hơn 10 mục

Cơ sở dữ liệu vector và RAG/embedding không giúp ích nhiều cho các mục đích sử dụng phổ thông

• RAG không hoạt động tốt cho những mục đích ngoài tìm kiếm
• Tính thực tiễn giảm do khó đánh giá mức độ liên quan, vấn đề cô lập dữ liệu và mức độ hài lòng của người dùng suy giảm
• Với tìm kiếm thông thường, tìm kiếm phân diện dùng GPT hoặc tạo truy vấn phức tạp phù hợp hơn

Về cơ bản GPT không tạo ra ảo giác (hallucination)

• Trong các tác vụ trích xuất thông tin từ văn bản cho trước, GPT cung cấp kết quả rất đáng tin cậy
• Tuy nhiên, nếu văn bản không có thông tin đó thì nó có thể bịa ra
• Vì vậy, điều quan trọng là phải cung cấp đủ ngữ cảnh và xử lý tốt phản hồi của GPT

Ý kiến của GN⁺

• Có vẻ sẽ khó đạt tới AGI chỉ với mô hình transformer, dữ liệu web và hạ tầng quy mô lớn
• GPT-4 rõ ràng hữu ích, nhưng để tiến xa hơn nữa có lẽ cần đổi mới ngay ở kiến trúc mô hình
• Các lựa chọn thay thế ngoài OpenAI dường như vẫn chưa theo kịp GPT, và rốt cuộc vẫn phải chú ý đến các bản nâng cấp của GPT
• Hiệu năng của GPT-5 được dự đoán sẽ không ở mức đột phá so với GPT-4. Có vẻ hiệu quả trên chi phí đã chạm trần
• Vì vậy, trong thời gian tới, lựa chọn thực tế có vẻ là tập trung tận dụng GPT-4 để thiết kế prompt tối ưu và xây dựng ứng dụng

[GN⁺]

Ý kiến trên Hacker News

• Một đội đang xử lý hơn 5 tỷ token mỗi tháng, và chia sẻ kinh nghiệm của người quản lý kỹ thuật chịu trách nhiệm vận hành việc này.
  • Nhiều lớp trừu tượng như Langchain là quá sớm, và vì prompt chỉ đơn giản là lời gọi API nên viết chúng như mã thông thường sẽ dễ hơn là đối xử như thứ gì đó đặc biệt.
  • Tóm tắt thì vững, nhưng suy luận thì khó; đặc biệt LLM gặp khó trong việc hiểu ngữ cảnh và nói ra khi nó không chắc chắn.
  • Đây là yếu tố thay đổi cuộc chơi, nhưng không phải ngày tận thế của thế giới; nó sẽ ảnh hưởng lớn tới một số nghề, nhưng không mang tính đột phá như Internet mà sẽ đóng vai trò khuếch đại sức mạnh.
• Chia sẻ trải nghiệm sử dụng mô hình OpenAI trong một ứng dụng viết cá nhân.
  • Đã cố triển khai tính năng tìm kiếm thông minh như tìm các ghi chú bản nháp trong 2 năm gần đây có nhắc đến Haskell, nhưng việc yêu cầu ChatGPT trả về dữ liệu JSON có cấu trúc chỉ hoạt động một phần.
  • Thay vào đó, đưa dữ liệu vào cơ sở dữ liệu SQLite rồi gửi schema cho ChatGPT và yêu cầu nó viết truy vấn để trả về thứ mình muốn thì hoạt động tốt hơn.
• Dùng prompt tốt hơn có thể cho phép sử dụng mô hình rẻ hơn.
  • Cung cấp cho LLM một lối thoát mềm (nếu không có sufficient information thì có thể đưa ra giả thuyết, nhưng phải nói rõ điều đó và trình bày căn cứ cùng cơ sở logic), rồi yêu cầu nó tự đánh giá câu trả lời của chính mình.
• Thắc mắc vì sao lại không cần JSON mode.
• Đã thử kiểm tra prompt để nếu quy tắc không áp dụng cho văn bản thì trả lại nguyên văn không thay đổi, nhưng ChatGPT lại trả về chuỗi ký tự nguyên văn The original text without any changes.
• GPT rất ấn tượng, nhưng hoàn toàn không đồng ý với cách diễn giải rằng càng mơ hồ thì chất lượng và khả năng khái quát hóa càng được cải thiện.
  • Ngôn ngữ tự nhiên là đầu ra có xác suất cao nhất của GPT, và các nhà phát triển chỉ đơn giản là dựa nhiều hơn vào thứ GPT làm tốt.
  • Ngay cả tác vụ đơn giản cũng có thể khiến GPT thất bại, và bản thân việc GPT "hiểu" ánh xạ đã ngụ ý đây là dạng đối sánh mẫu ở bậc cao.
• Dù GPT-4 là mô hình từ 1 năm trước, nó vẫn cho hiệu năng vượt trội hơn hẳn các LLM khác; tùy theo kiểu sử dụng, nó hiếm khi hallucination và khi biết mình đúng thì còn cứng rắn hơn.
• Khi trích xuất tên công ty, có vấn đề giả thuyết null: nếu văn bản không có công ty nào thì nó lại đưa ra một công ty ngẫu nhiên.
  • Cần cách tiếp cận 2 bước: trước tiên hỏi "Văn bản này có nhắc đến công ty không?", rồi nếu có thì yêu cầu "Hãy liệt kê tên các công ty trong văn bản này".
• Việc GPT không thể trả về ổn định hơn 10 mục chỉ là vấn đề prompt; nếu dùng khóa JSON thì có thể trả về tới 200 mục theo đúng thứ tự.
• Mẹo để giải quyết vấn đề null:
  • Thay vì nói "đừng trả về gì cả", hãy nói "hãy trả về giá trị mặc định của XYZ", rồi thực hiện tìm kiếm văn bản cho chính giá trị mặc định đó (XYZ), giống như khi tìm tên bang.
  • Dùng system prompt có thể khiến LLM đảm nhận vai trò X.
• Giới thiệu một micro-package cho việc cắt ngắn dựa trên token.