ChatGPT là mô hình có kích thước 20B

 (arxiv.org)
9 điểm bởi jonghwanhyeon 2023-10-31 | 5 bình luận | Chia sẻ qua WhatsApp

Trong bài báo "CodeFusion: A Pre-trained Diffusion Model for Code Generation" do Microsoft Research nộp lên EMNLP 2023, số lượng tham số của ChatGPT (gpt-3.5-turbo) đã được công bố là 20B.

  • T5 (t5-large): 770M
  • CodeT5 (codet5-large): 770M
  • GPT3 (text-davinci-003): 175B
  • ChatGPT (gpt-turbo-3.5): 20B

Bài viết liên quan

5 bình luận

 
hyeonseokoh94 2023-11-02

Kích thước này có hợp lý không? Nghe những người làm về AI nói thì họ đều kinh ngạc...
All you need is 4090
 
geekarxiv 2023-11-01

Ban đầu kích thước parameter của GPT-3.5 cũng chưa từng được công khai sao?
Tôi cứ tưởng đơn giản là GPT-3 175B được RLHF thôi, hóa ra không phải nhỉ..
 
spark 2023-11-01

https://arxiv.org/abs/2310.17680v1 vẫn có thể xem được bản v1.
 
verilogeek 2023-11-01

"Có một số lỗi trong bài báo và chúng tôi cần rút lại nó", họ nói vậy.
 
verilogeek 2023-11-01

Tôi không biết lỗi nằm ở đâu, nhưng nếu chỉ sai vài con số thì chắc hẳn họ chỉ sửa lại đơn giản thôi... vậy khả năng cao là 20B mới đúng nhỉ?