Chameleon: LLM đa phương thức mới của Meta

• Chameleon là một họ mô hình đa phương thức trộn dựa trên token hợp nhất sớm, có thể hiểu và tạo ra hình ảnh và văn bản theo thứ tự tùy ý
• Họ mô hình này bao gồm phương pháp huấn luyện ổn định, công thức căn chỉnh và các tham số kiến trúc cho thiết lập đa phương thức trộn dựa trên token hợp nhất sớm
• Ngay từ đầu đã áp dụng phương pháp huấn luyện ổn định, đồng thời công thức căn chỉnh và các tham số kiến trúc được thiết kế phù hợp với thiết lập đa phương thức trộn dựa trên token hợp nhất sớm
• Đã được đánh giá trên các tác vụ toàn diện như hỏi đáp trực quan, tạo chú thích ảnh, tạo văn bản, tạo ảnh và tạo đa phương thức trộn dạng dài
  • Cho thấy hiệu năng hàng đầu trong tác vụ tạo chú thích ảnh
  • Trên các tác vụ chỉ có văn bản, vượt Llama-2 và cho thấy hiệu năng cạnh tranh với các mô hình như Mixtral 8x7B và Gemini-Pro
  • Có năng lực tạo ảnh xuất sắc và có thể thực hiện nhiều tác vụ khác nhau bằng một mô hình duy nhất
  • Trong đánh giá tạo đa phương thức trộn dạng dài, khi prompt hoặc đầu ra bao gồm chuỗi trộn giữa hình ảnh và văn bản, mô hình đạt hoặc vượt hiệu năng của những mô hình lớn hơn nhiều như Gemini Pro và GPT-4V
• Chameleon đã tạo ra bước tiến quan trọng trong việc mô hình hóa thống nhất các tài liệu đa phương thức hoàn chỉnh
• Điều này đặt ra một chuẩn mới cho mô hình đa phương thức thống nhất với năng lực toàn diện trên nhiều tác vụ khác nhau

Ý kiến của GN⁺

• Các mô hình đa phương thức có thể xử lý đồng thời nhiều dạng đầu vào khác nhau, nên rất hữu ích trong ứng dụng thực tế. Ví dụ, chúng mang lại lợi thế lớn trong các hệ thống hỏi đáp trực quan hoặc tạo chú thích ảnh.
• Chameleon cho thấy hiệu năng cạnh tranh khi so sánh với Llama-2, Mixtral 8x7B, Gemini-Pro, v.v. Điều này chứng minh tính linh hoạt và hiệu năng của nó trên nhiều tác vụ khác nhau.
• Khi áp dụng công nghệ mới, cần cân nhắc độ ổn định của mô hình, chi phí huấn luyện và yêu cầu dữ liệu. Với Chameleon, cách tiếp cận hợp nhất sớm là ổn định, nhưng khi triển khai thực tế vẫn có thể cần đủ dữ liệu và tài nguyên tính toán.
• Hiệu năng trong tạo đa phương thức trộn dài hạn là điểm rất đáng chú ý. Điều này mở ra tiềm năng lớn cho việc tạo tài liệu phức tạp hoặc sản xuất nội dung đa phương tiện.
• Trong ngành hiện có nhiều mô hình đa phương thức như GPT-4 của OpenAI, BERT của Google, v.v. Việc so sánh đặc điểm, ưu điểm và nhược điểm của từng mô hình để chọn mô hình phù hợp là điều quan trọng.

[fastkoder]

Checkpoint của mô hình: https://ai.meta.com/resources/models-and-libraries/…
Blog: https://ai.meta.com/blog/meta-fair-research-new-releases/
Kho lưu trữ Github: https://github.com/facebookresearch/chameleon
Được công bố cách đây 8 giờ!

[GN⁺]

Ý kiến trên Hacker News

Tóm tắt các bình luận trên Hacker News

• Nghiên cứu nền tảng và vấn đề softmax

  • Nghiên cứu nền tảng rất thú vị. Đặc biệt, phần phân tích về khó khăn khi sử dụng softmax trong các không gian tokenization khác nhau rất ấn tượng.
  • Vấn đề thể hiện rõ nhất ở mô hình kích thước 34B. Điều này nhắc nhở rằng việc huấn luyện các mô hình quy mô lớn có thể làm phát sinh những vấn đề mới.

• Đa phương thức và Mirasol3B

  • So với Mirasol3B thì mô hình này không hỗ trợ âm thanh. Mirasol3B của Google đã có thể làm demo bằng cách chuyển âm thanh thành hình ảnh.
  • Meta cũng đang tiến theo hướng đa phương thức. Chế độ giọng nói GPT mới cũng nhiều khả năng sử dụng cùng một kiến trúc.
  • Khi thêm modality mới, hiệu năng mô hình được cải thiện ngay cả khi giữ nguyên số lượng tham số.

• Thời gian và chi phí huấn luyện

  • Thời gian huấn luyện là 4.282.407 giờ; nếu dùng GPU 200W thì mức tiêu thụ điện vào khoảng 1 GWh. Chi phí khoảng $100,000.
  • Nếu chỉ dùng một GPU thì sẽ cần 500 năm huấn luyện và $100,000 tiền điện. Trên thực tế, có thể huấn luyện trong 2 tháng với 3.000 GPU.

• Hiệu năng của mô hình Chameleon

  • Mô hình Chameleon đạt hoặc vượt hiệu năng của các mô hình lớn hơn như Gemini Pro và GPT-4V. Mô hình cũng cho thấy kết quả xuất sắc trong đánh giá sinh đầu ra đa phương thức hỗn hợp.
  • Đây là một bước tiến quan trọng trong việc mô hình hóa thống nhất các tài liệu đa phương thức.

• Tốc độ phát triển công nghệ

  • Tốc độ phát triển công nghệ rất nhanh. Có nhiều điểm thú vị và cũng khá dễ hiểu.
  • Tuy vậy, điều này cũng có thể gây mệt mỏi, và do quá nhiều tiền được đổ vào nên phần lớn có thể tạo cảm giác giống lừa đảo. Tốt hơn là nên đào sâu vào một chủ đề và đọc các bài báo liên quan.

• Việc áp dụng các mô hình đa phương thức

  • Gần đây các mô hình đa phương thức đã được áp dụng rộng rãi, nhưng vẫn thường dùng encoder hoặc decoder riêng cho từng modality.
  • Ví dụ, Gemini Pro dùng image token, còn GPT-4V cũng tương tự. Cả hai đều tiền huấn luyện hai tokenizer khác nhau.

• Mô hình thống nhất và sự cạnh tranh giữa các modality

  • Mô hình thống nhất là một hướng đi thú vị, nhưng phát hiện về "cạnh tranh giữa các modality" cho thấy trong ngắn hạn, việc huấn luyện các mô hình chuyên biệt cho từng modality có thể sẽ tốt hơn.

• Kế hoạch mã nguồn mở của Meta

  • Có người thắc mắc liệu Meta có kế hoạch công bố các mô hình này dưới dạng mã nguồn mở hay không.
  • Có câu hỏi về việc liệu mô hình có thể được tải xuống hay không.