StableLM ra mắt - mô hình ngôn ngữ mở của Stability AI

 (github.com/Stability-AI)
24 điểm bởi xguru 2023-04-20 | 2 bình luận | Chia sẻ qua WhatsApp
  • Công bố các mô hình 3B/7B; cũng dự kiến công bố các mô hình 15B/30B/65B và đang có kế hoạch tới 175B
  • Mô hình được cấp phép theo giấy phép CC BY-SA-4.0, có thể sử dụng cho mục đích thương mại nếu ghi rõ nguồn
  • Dựa trên bộ dữ liệu mở The Pile, nhưng được huấn luyện bằng một bộ dữ liệu mới có 1,5T token, lớn gấp 3 lần
  • Độ dài ngữ cảnh là 4096 token
  • Cũng công bố mô hình StableLM-Tuned-Alpha-7B được fine-tune theo quy trình Alpaca như một PoC
    • Sử dụng 5 bộ dữ liệu hội thoại: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, Anthropic's HH
    • Bản demo chatbot được công bố trên Hugging Face

Bài viết liên quan

2 bình luận

 
laeyoung 2023-04-20

Hay quá hay quá!
 
xguru 2023-04-20

Giống như việc công bố Stable Diffusion đã thúc đẩy thị trường tăng tốc, có lẽ từ giờ các bộ dữ liệu và trường hợp sử dụng để dùng mô hình ngôn ngữ một cách công khai cũng sẽ bắt đầu bùng nổ.