Meta công bố mô hình ngôn ngữ thế hệ tiếp theo Llama 2

• Mô hình ngôn ngữ lớn mã nguồn mở có thể dùng cho cả nghiên cứu và mục đích thương mại
• Được huấn luyện với 2 nghìn tỷ token dữ liệu, nhiều hơn 40% so với Llama 1
• Độ dài ngữ cảnh gấp đôi: 4096
• Ba kích thước mô hình: 7B, 13B, 70B
• Hiệu năng vượt trội hơn các mô hình ngôn ngữ mã nguồn mở khác trong nhiều benchmark như suy luận, lập trình, mức độ thành thạo và kiểm tra kiến thức (MPT, Falcon, Llama-1)
• Được huấn luyện bằng các nguồn dữ liệu công khai; bản fine-tune Llama-2-chat cũng sử dụng bộ instruction công khai và hơn một triệu chú thích do con người thực hiện
  • Sử dụng Reinforcement Learning from Human Feedback (RLHF). Bao gồm Rejection Sampling và Proximal Policy Optimization (PPO)
• Những gì có trong bản tải xuống
  • Model code
  • Model Weights
  • README (User Guide)
  • Responsible Use Guide
  • License
  • Acceptable Use Policy
  • Model Card

[GN⁺]

Ý kiến trên Hacker News

• Llama 2 đang bắt kịp và vượt GPT-3.5 ở một số benchmark nhất định
• Llama 2 cho thấy hiệu năng xuất sắc trong các bài kiểm tra AI2 Reasoning Challenge, HellaSwag và MMLU
• Llama 2 có hiệu năng tương tự GPT-3.5 trong khi số lượng tham số ít hơn
• Llama 2 có thể dễ dàng được thử nghiệm và tích hợp vào ứng dụng
• Llama 2 có giấy phép không hoàn toàn mở, điều mà một số người dùng chỉ trích
• Llama 2 có thể được truy cập thông qua nhiều công cụ và nền tảng khác nhau
• Llama 2 có các hàng rào bảo vệ, nhưng trong một số trường hợp vẫn có thể bị vượt qua
• Việc phát hành Llama 2 được xem là một bước đi tích cực có lợi cho ngành
• Việc huấn luyện Llama 2 với 2T token đã cải thiện hiệu năng so với Llama 1
• Việc mở rộng các mô hình Llama có thể sẽ tạo ra những mô hình mạnh mẽ trên GPU tiêu dùng