GPT4All - Chatbot được huấn luyện với 800k bộ chỉ thị dựa trên LLaMA

• Mô hình ngôn ngữ lớn theo phong cách trợ lý
• Công khai toàn bộ dữ liệu đã thu thập, quy trình thu thập dữ liệu, mã huấn luyện và trọng số mô hình cuối cùng
• Huấn luyện bằng 800k dữ liệu (mã nguồn/câu chuyện/hội thoại) được tạo bởi GPT 3.5 Turbo
  • Sử dụng làm bộ dữ liệu nền tảng: LAION OIG, các câu hỏi lập trình trên Stack Overflow, và tinh chỉnh chỉ thị của Big-Science/P3
  • Tham khảo Stanford Alpaca, đồng thời đưa dữ liệu lên ATLAS để tuyển chọn và làm sạch