BloombergGPT - Mô hình ngôn ngữ lớn dành cho tài chính

• Mô hình ngôn ngữ 50 tỷ (50B) tham số được huấn luyện trên dữ liệu tài chính quy mô lớn
• Xây dựng bộ dữ liệu 363 tỷ token dựa trên các nguồn dữ liệu của Bloomberg, và bổ sung thêm 345 tỷ token dữ liệu phổ thông
• Không bị suy giảm hiệu năng trên các benchmark LLM phổ thông, đồng thời cho thấy hiệu năng vượt trội hơn nhiều so với các mô hình hiện có trong các tác vụ tài chính
• Cũng mô tả các lựa chọn mô hình hóa, quy trình huấn luyện và phương pháp đánh giá
• Bước tiếp theo là dự định công bố training log (chronicle) trình bày chi tiết trải nghiệm huấn luyện BloombergGPT