Những tin đồn về GPT-4

• GPT-4 gần như đã sẵn sàng và dự kiến sẽ ra mắt trong khoảng từ tháng 12 đến tháng 2
• Có thể sẽ vượt qua bài kiểm tra Turing
• Rất lớn và có tính sparse cao (không phải mọi nơ-ron đều hoạt động cùng lúc)
  • So sánh kích thước là điều không có nhiều ý nghĩa
  • Theo tôi, sparsity là tương lai của AI
• Đa phương thức, cho phép đầu vào văn bản, âm thanh, hình ảnh và video
  • Đây cũng là tương lai của AI. Không chỉ vì bộ não của chúng ta như vậy mà còn vì thế giới vốn mang tính đa phương thức
• Chi phí huấn luyện rẻ hơn GPT-3 rất nhiều: $.e6 ($1~10M)
  • Điều đó có nghĩa là OpenAI đã tìm ra cách để giảm chi phí