Cách tinh chỉnh LLM như GPT bằng bộ dữ liệu tùy chỉnh

• Tinh chỉnh bằng LoRA và Adapter với Lit-Parrot, một bản triển khai mã nguồn mở dựa trên nanoGPT
  • Hỗ trợ các LLM như StableLM, Pythia, RedPajama
  • Sử dụng FlashAttention của PyTorch
• Trong ví dụ, mô hình RedPajama-INCITE được tinh chỉnh bằng bộ dữ liệu chỉ dẫn Dolly 2.0 của Databricks