MPT-7B, LLM mã nguồn mở có thể dùng cho mục đích thương mại

• Transformer được huấn luyện với 1 nghìn tỷ token
• Chất lượng tương đương LLaMA-7B nhưng là mã nguồn mở và có thể sử dụng cho mục đích thương mại
• Công bố thêm 3 mô hình fine-tuning
  • MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+ (hỗ trợ 65K token)
• Được huấn luyện trên nền tảng MosaicML trong 9,5 ngày với chi phí khoảng ~$200K, đồng thời có thể tự huấn luyện, fine-tune và triển khai mô hình MPT của riêng mình
• MPT: Mosaic Pretrained Transformers

[kuroneko]

Dạo này nhìn số lượng mô hình LLM mã nguồn mở có thể dùng cho mục đích thương mại được ra mắt ồ ạt,

có cảm giác như họ đang cạnh tranh để trở thành Stable Diffusion của thế giới LLM.

Rất mong chờ xem ai sẽ là người chiến thắng. +_+

[xguru]

Trước mắt cứ tích hợp bằng ChatGPT để phát triển trước, rồi sau đó thay thế bằng mã nguồn mở tiên tiến nhất có vẻ sẽ là một phương án tốt.