Triển khai GPT bằng 60 dòng Numpy

• Một hướng dẫn triển khai GPT đơn giản với giả định bạn đã quen thuộc với Python và Numpy, đồng thời tải mô hình GPT-2 do OpenAI công bố để thử sinh văn bản

Mục lục

• GPT là gì
• Thiết lập: Encoder, Hyperparameters, Parameters
• Các lớp cơ bản: GeLU, Softmax, Layer Normalization, Linear
• Kiến trúc GPT
  • Embeddings
  • Decoder Stack
  • Chiếu sang từ vựng
  • Decoder Block
  • Mạng feed-forward theo từng vị trí
  • Multi-Head Causal Self Attention
• Ghép tất cả lại
• What's Next?
  • Hỗ trợ GPU/TPU
  • Backpropagation
  • Batching
  • Tối ưu hóa suy luận
  • Huấn luyện
  • Đánh giá
  • Cải tiến kiến trúc