Tinh chỉnh Mistral 7B cho draft Magic: The Gathering

Tóm tắt: Khám phá kỹ thuật tinh chỉnh mô hình AI

• Hiệu quả và độ khó của kỹ thuật tinh chỉnh
  • Tinh chỉnh hứa hẹn bổ sung năng lực cho GPT-4, đồng thời cải thiện tốc độ và hiệu quả chi phí.
  • Để giải quyết tình trạng thiếu thông tin về mức độ hiệu quả và độ khó thực sự của việc tinh chỉnh, tác giả đã tự mình tiến hành thử nghiệm.

Chọn bài toán

• Kiểm tra năng lực suy luận của mô hình thông qua draft Magic: The Gathering (MTG)
  • MTG là một trò chơi bài chiến thuật, trong đó draft là hình thức chọn bài từ một nhóm lá bài ngẫu nhiên để xây dựng bộ bài.
  • Draft là một tác vụ phức tạp, phù hợp để kiểm tra suy luận và khả năng hiểu dữ liệu mới.
  • Tận dụng dữ liệu lịch sử quy mô lớn do dịch vụ 17lands cung cấp và dùng các lựa chọn draft của những người chơi giỏi nhất làm "ground truth".

Kết quả và tổng kết

• Hiệu năng của mô hình 7B đã tinh chỉnh
  • Mô hình 7B sau khi tinh chỉnh vượt qua GPT-4 và cho thấy hiệu năng tiệm cận mức con người.
  • Tinh chỉnh GPT-3.5 có thể cho kết quả tốt hơn, nhưng chi phí rất cao.
  • Tinh chỉnh vẫn là một quá trình mang tính thử nghiệm, đặc biệt prompt engineering tốn rất nhiều thời gian.
  • Sau khi tinh chỉnh trên một bộ thẻ bài mới, mô hình vẫn cho thấy khả năng khái quát hóa trên những bộ thẻ chưa từng thấy.

Báo cáo thực địa: phương pháp và quá trình học

• Xây dựng dữ liệu
  • Dữ liệu định dạng CSV từ 17lands được chuyển sang dạng văn bản để phù hợp cho tinh chỉnh.
  • Việc định dạng dữ liệu là một quá trình nhiều thách thức và mang tính thử nghiệm.
• Thực hiện tinh chỉnh
  • Do vấn đề tiếp cận GPU, tác giả thuê GPU theo giờ trên Runpod.
  • Sử dụng axolotl để dễ dàng triển khai tối ưu hóa cho quá trình tinh chỉnh.
• Đánh giá
  • Việc chuẩn bị tiêu chí đánh giá trước khi bắt đầu thí nghiệm là rất quan trọng.
  • Thiết lập tiêu chí đánh giá cho mô hình ngôn ngữ có thể là một việc khó.

Bài học chính

• Hiệu quả của tinh chỉnh
  • Tinh chỉnh trên dữ liệu mới vượt GPT-4 cả về độ chính xác lẫn chi phí.
  • Để làm tinh chỉnh đúng cách cần một quá trình thử nghiệm; đây là kỹ năng chuyên biệt khó học hơn prompt engineering.

Thông tin bổ sung liên quan đến Magic

• Hiệu năng của bot draft AI đã tinh chỉnh
  • Tác giả phát triển một ứng dụng hỗ trợ draft bằng cách dùng mô hình draft kết nối với log của Magic Arena.
  • Mô hình đã tinh chỉnh tạo ra lựa chọn, còn GPT-4 cung cấp phần giải thích.
  • Khi mô phỏng nhiều bot draft AI, hệ thống cho thấy hiệu năng tương tự người draft.

Ý kiến của GN⁺

Điểm quan trọng nhất trong bài là kỹ thuật tinh chỉnh có tiềm năng vượt qua hiệu năng của các mô hình ngôn ngữ lớn hiện có như GPT-4, từ đó cải thiện đáng kể mức độ hiểu và hiệu quả của AI trong các tác vụ cụ thể. Bài viết thú vị vì nó cho thấy quy trình tinh chỉnh cụ thể và hiệu quả thực tế thông qua một trường hợp ứng dụng thật, qua đó cũng giúp các kỹ sư phần mềm mới vào nghề hiểu hơn về tiềm năng phát triển và cách áp dụng công nghệ AI.

[GN⁺]

Ý kiến Hacker News

• Thật ấn tượng khi điều này cho thấy ngay cả những khái niệm đơn giản trong tinh chỉnh LLM cũng có thể khó triển khai. Ngay cả khi có tập dữ liệu ban đầu chất lượng cao và mô hình tốt, đây vẫn là một nhiệm vụ đầy thách thức.
• Có cảm giác rằng LLM phù hợp với những bài toán không có đáp án tự nhiên duy nhất. Việc chọn lá bài hoàn hảo là bất khả thi về mặt tính toán, nhưng chọn một lá bài tốt thì có thể, và LLM có thể tiến gần đến hiệu năng ở mức con người.
• Có vẻ tồn tại một tập các vấn đề có thể được giải quyết bằng cách tinh chỉnh LLM. Đây không phải là thay đổi mang tính cách mạng cho đời sống hằng ngày, nhưng tôi mong chờ được đối đầu với những bot có phong cách chơi thú vị trong các trò chơi như Magic: the Gathering.
• Đặt câu hỏi về cách trích xuất "dữ liệu chân thực" bằng cách phân tích các lựa chọn draft của những người chơi giỏi nhất. Dữ liệu được sắp xếp theo tỷ lệ thắng có thể phản ánh những người chơi may mắn nhất chứ không phải những người chơi giỏi nhất.
• LLM có thể có một mức độ hiểu biết nào đó về luật chơi, nhưng nhiều khả năng chủ yếu xem xét độ hiếm, chi phí của lá bài, v.v. Đặt nghi vấn về "độ chính xác" của draft.
• Thay vì đưa loss của LLM về 0, có thể sẽ hữu ích nếu dùng loss có trọng số bằng Axolotl. Domain adaptation cũng có thể giúp ích cho quá trình tinh chỉnh.
• Có vẻ prompt được đưa cho tác nhân chỉ bao gồm tên của các lá bài và không giữ ngữ cảnh với các lựa chọn trước đó. Điều này cho thấy việc bot draft tốt có thể hoàn toàn là ngẫu nhiên.
• Chia sẻ liên kết về một trường hợp hack Magic the Gathering: Arena để đạt tỷ lệ thắng 100%. Điều này cho thấy AI ảo tên là Sparky của MTGA có thể không quá phức tạp.
• Bày tỏ sự quan tâm đến việc tinh chỉnh LLM cho Magic: The Gathering. Đang xây dựng một trình duyệt độ tương đồng thẻ bài và đã thử nhiều prompt với InstructorXL nhưng vẫn chưa đạt kết quả như ý. Bài đăng này đã mang lại cảm hứng.
• Tò mò liệu có thể dùng một mô hình nhỏ coi mỗi lá bài như một token và sử dụng trạng thái draft làm đầu vào để dự đoán lá bài sẽ chọn hay không.
• Sẽ rất thú vị nếu so sánh với việc huấn luyện một mạng nơ-ron để thực hiện draft mà không dùng Mistral làm điểm khởi đầu. Chưa rõ vì sao thành phần LLM lại quan trọng.
• Việc có thể biểu diễn draft bằng LLM là điều rất thú vị. Những AI draft tốt nhất đều sử dụng học biểu diễn dưới một hình thức nào đó.