The Pile, bộ dữ liệu mô hình hóa ngôn ngữ nguồn mở đa dạng quy mô 825 gigabyte (2020)

The Pile: bộ dữ liệu 800GB gồm văn bản đa dạng cho mô hình hóa ngôn ngữ

• The Pile là bộ dữ liệu mô hình hóa ngôn ngữ nguồn mở đa dạng với quy mô 825 GiB, được tạo bằng cách kết hợp 22 bộ dữ liệu nhỏ nhưng chất lượng cao.
• Bộ dữ liệu này được lưu trữ bởi tổ chức Eye, và được nén bằng zstandard theo định dạng dữ liệu jsonlines.
• Nếu có mô hình nào sử dụng hoặc được đánh giá trên The Pile, nhóm phát triển đề nghị hãy cho họ biết.

Lý do sử dụng The Pile làm tập huấn luyện

• Theo các nghiên cứu gần đây, đặc biệt với các mô hình lớn, sự đa dạng của nguồn dữ liệu giúp cải thiện kiến thức liên miền tổng quát và khả năng khái quát hóa cho các tác vụ hạ nguồn của mô hình.
• Kết quả đánh giá cho thấy các mô hình được huấn luyện trên The Pile có mức cải thiện vừa phải trên các benchmark mô hình hóa ngôn ngữ truyền thống, và cải thiện đáng kể trên Pile BPB.

Lý do sử dụng The Pile làm benchmark

• Để đạt điểm tốt trên Pile BPB (bits per byte), mô hình phải có khả năng hiểu nhiều miền khác nhau như sách, kho lưu trữ GitHub, trang web, nhật ký chat, y học, vật lý, toán học, khoa học máy tính và các bài luận triết học.
• Pile BPB là chỉ số đo lường kiến thức thế giới và năng lực suy luận trong các miền này, đồng thời là một benchmark mạnh cho năng lực mô hình hóa văn bản liên miền tổng quát của các mô hình ngôn ngữ lớn.

Trích dẫn

• Nếu sử dụng The Pile hoặc các thành phần của nó, nhóm phát triển đề nghị trích dẫn như sau.

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Bảng xếp hạng

• Bảng xếp hạng cho biết khả năng trùng lặp với tập kiểm thử, và Zero-shot có nghĩa là mọi thành phần của The Pile đều không nằm trong dữ liệu huấn luyện.
• GPT-3 (Zero-Shot)* và GPT-2 (Zero-Shot)* được OpenAI xếp hạng vào ngày 1 tháng 1 năm 2021 với Test BPB lần lượt là 0.7177 và 1.225.
• Mã đánh giá do EleutherAI 2021 cung cấp.

Ý kiến của GN⁺

• Bộ dữ liệu The Pile phản ánh kết quả nghiên cứu mới nhất rằng tính đa dạng của dữ liệu là yếu tố quan trọng trong huấn luyện và benchmark mô hình ngôn ngữ. Điều này góp phần giúp mô hình ngôn ngữ hiểu và xử lý được nhiều dạng văn bản đa dạng trong thế giới thực.
• Quy mô và tính đa dạng của bộ dữ liệu giúp mô hình học được phạm vi kiến thức rộng hơn và có khả năng khái quát hóa tốt hơn. Đây có thể được xem là một bước tiến quan trọng, đặc biệt trong lĩnh vực trí tuệ nhân tạo.
• Tuy nhiên, để tận dụng hiệu quả các bộ dữ liệu quy mô lớn như vậy cần đến nguồn lực tính toán đáng kể, điều này đặt ra vấn đề cần cân nhắc về chi phí và tác động môi trường.
• Những dự án khác cung cấp chức năng tương tự bao gồm các mô hình ngôn ngữ lớn như GPT-3 của OpenAI, vốn cũng học từ nhiều nguồn dữ liệu đa dạng.
• Trước khi sử dụng The Pile, cần hiểu đầy đủ về nguồn gốc và chất lượng dữ liệu, cũng như nội dung mà mô hình sẽ học. Lợi ích có thể thu được khi chọn bộ dữ liệu này là khả năng tiếp thu tri thức đa dạng của mô hình, nhưng cũng cần tính đến chi phí xử lý và lưu trữ dữ liệu.