Chi tiết về GPT-4 bị rò rỉ?

 (threadreaderapp.com)
2 điểm bởi GN⁺ 2023-07-12 | 1 bình luận | Chia sẻ qua WhatsApp
  • Khả năng chi tiết về GPT-4 đã bị rò rỉ
  • Thông tin bị rò rỉ cho thấy GPT-4 sẽ có các tính năng nâng cao
  • GPT-4 được kỳ vọng sẽ có khả năng xử lý và hiểu ngôn ngữ tự nhiên được cải thiện
  • Các chi tiết bị rò rỉ cũng đề cập đến khả năng hiểu ngữ cảnh và suy luận được nâng cao
  • Có tin đồn rằng GPT-4 sẽ có quy mô mô hình lớn hơn, điều này có thể góp phần cải thiện hiệu năng
  • Thông tin bị rò rỉ đã khơi dậy sự quan tâm trong giới am hiểu công nghệ
  • Bài viết này thảo luận về tác động tiềm năng của GPT-4 đối với nhiều ngành công nghiệp và lĩnh vực ứng dụng khác nhau
  • Hiện vẫn chưa rõ khi nào GPT-4 sẽ chính thức ra mắt
  • Các chi tiết bị rò rỉ đã làm dấy lên nhiều suy đoán và kỳ vọng trong giới kỹ sư phần mềm và những người đam mê công nghệ

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-07-12
Ý kiến trên Hacker News
  • Nguồn gốc ban đầu của các chi tiết bị rò rỉ về GPT-4 là một bài đăng trên blog của semianalysis.com.
  • Người dùng Twitter đã chia sẻ các chi tiết này dường như chỉ diễn đạt lại bài đăng trên blog, và vì thế tweet đã bị xóa.
  • MoE (Mixture of Experts) được dùng trong GPT-4 là một điểm thú vị và có thể giải thích sự biến động về chất lượng đầu ra.
  • Mô hình thị giác của GPT-4 vẫn chưa được công bố, nhưng có nhiều kỳ vọng dành cho nó.
  • Việc huấn luyện GPT-4 cần 21 yottaFLOPS, đây là một thành tựu tính toán rất đáng kể.
  • Chi phí huấn luyện GPT-4 đã giảm xuống còn 1/3 so với năm ngoái, đây là tin tốt cho mã nguồn mở.
  • Có suy đoán rằng chất lượng của GPT-4 đã suy giảm do chấp nhận các chuỗi có xác suất thấp từ mô hình speculative decoding.
  • Google đang nghiên cứu Mixture of Experts để mở rộng mô hình ngôn ngữ, và mô hình GLaM có 1,7 nghìn tỷ tham số cùng 64 chuyên gia.
  • Trong một cuộc phỏng vấn, George Hotz nhắc đến việc GPT-4 có 220 tỷ tham số và là mô hình hỗn hợp gồm 16 mô hình với 8 bộ trọng số.
  • Có sự tò mò về việc liệu các dịch vụ cao cấp như Thread Reader còn có thể tiếp tục hoạt động hay không do giá API cao của Twitter.
  • Một số người dùng đang tìm các liên kết thay thế để truy cập chi tiết huấn luyện GPT-4 bị rò rỉ mà không cần đăng ký Twitter.
  • Những người thực sự biết GPT-4 hoạt động như thế nào chỉ có nhân viên OpenAI; còn lại đều phải dựa vào suy đoán.