- Mô hình ngôn ngữ lớn mã nguồn mở có thể dùng cho cả nghiên cứu và mục đích thương mại
- Được huấn luyện với 2 nghìn tỷ token dữ liệu, nhiều hơn 40% so với Llama 1
- Độ dài ngữ cảnh gấp đôi: 4096
- Ba kích thước mô hình: 7B, 13B, 70B
- Hiệu năng vượt trội hơn các mô hình ngôn ngữ mã nguồn mở khác trong nhiều benchmark như suy luận, lập trình, mức độ thành thạo và kiểm tra kiến thức (MPT, Falcon, Llama-1)
- Được huấn luyện bằng các nguồn dữ liệu công khai; Llama-2-chat đã được fine-tune cũng sử dụng bộ chỉ thị công khai và hơn một triệu chú thích do con người thực hiện
- Những thành phần có trong bản tải xuống
- Model code
- Model Weights
- README (User Guide)
- Responsible Use Guide
- License
- Acceptable Use Policy
- Model Card
3 bình luận
Lần này liệu lại có ai tung magnet torrent với mục đích "vì lợi ích công cộng" không?
Lần này thì không cần làm vậy nữa, có thể công bố ngay lập tức
Tùy theo từng lĩnh vực, nhưng có vẻ các đánh giá cho thấy nó gần đạt mức GPT-3.5 hoặc thậm chí tốt hơn.
Trông như hoàn toàn mở, nhưng có một hạn chế quan trọng. Nếu là “dịch vụ có MAU vượt 700 triệu” thì phải xin giấy phép từ Meta, và Meta có thể từ chối.
Có vẻ như là kiểu “Google, TikTok, các cậu đừng dùng nhé!”.
Microsoft cũng rất nhanh chóng công bố việc có thể sử dụng Llama 2 trên Azure. https://blogs.microsoft.com/blog/2023/…
Có vẻ Microsoft đang duy trì quan hệ tốt không chỉ với OpenAI mà cả với Meta nữa.