Koala: Mô hình hội thoại cho nghiên cứu học thuật (chatbot dựa trên LLaMA)

• Mô hình Koala-13B được huấn luyện bằng dữ liệu hội thoại và chỉ thị trên nền tảng LLaMA, tương tự Alpaca
• Tạo ra kết quả được ưa chuộng hơn Alpaca với nhiều truy vấn khác nhau, và trong ít nhất hơn một nửa số trường hợp có thể tạo ra phản hồi tương đương ChatGPT
• Supervised Fine-Tuning bằng dữ liệu hội thoại mã nguồn mở được thu thập từ web
  • 60K cuộc hội thoại từ ShareGPT
  • 87K ví dụ hỏi đáp từ HC3
  • Open Instruction Generalist (OIG)
  • Bộ dữ liệu 52K do Stanford Alpaca công bố
  • Anthropic HH (160K)
  • OpenAI WebGPT (20K)
  • OpenAI Summarization (93K)

[verilogeek]

Đúng là cả một model zoo..

[xguru]

LLaMA, Alpaca, Koala,.. đúng là một sở thú các mô hình AI nhỉ.