- Được tạo bằng cách lấy nội dung từ bài báo Orca của Microsoft và tái tạo lại dưới dạng mã nguồn mở
- Khoảng 1 triệu mục FLANv2 được tăng cường bằng GPT-4 Completion
- Khoảng 3,5 triệu mục FLANv2 được tăng cường bằng GPT-3.4 Completion
- Bao gồm toàn bộ 75k CoT có trong bộ dữ liệu FLAN-1m
- Hiện đang tiến hành fine-tune toàn bộ trọng số trên nền tảng LLaMA-13B, nên hiệu năng sẽ trở nên tương tự với bản của Microsoft
- Có thể phát hành OpenOrca-LLaMA-13b vào khoảng giữa tháng 7
- Đang tìm nhà tài trợ GPU computing để áp dụng OpenOrca cho các nền tảng khác (Falcon, LLaMA, MPT, v.v.)
2 bình luận
Ôi, link bị 404 rồi.
Bạn có thể xem dataset tại Open-Orca/OpenOrca của HuggingFace! :D
Ồ, có vẻ bài viết đã bị xóa rồi.
Vẫn còn trên WaybackMachine.
https://web.archive.org/web/20230629002546/…
Tôi đã sửa liên kết thành liên kết HuggingFace mà bạn đã đăng.