LLaMA - LLM 65 tỷ tham số do Meta công bố

• Được công bố với 4 kích cỡ: 7B, 13B, 33B, 65B
• Dù có quy mô nhỏ hơn nhiều, nhờ tăng cường huấn luyện dữ liệu và tinh chỉnh nên đây là mô hình hiệu quả, có thể so sánh với các mô hình lớn hơn
• 33B/65B được huấn luyện với 1,4 nghìn tỷ token (7B là 1 nghìn tỷ)
• "Mô hình 13B vượt trội hơn GPT-3 175B, còn 65B có thể cạnh tranh với Chinchilla70B và PaLM-540B lớn hơn nhiều"
• Chỉ có thể sử dụng cho các mục đích phi thương mại như nghiên cứu AI (cần đăng ký và được phê duyệt)