Ask HN: ChatGPT có thể phục vụ 700 triệu người, vậy tại sao tôi còn không chạy nổi một GPT-4 cục bộ?

• Sam Altman công bố rằng ChatGPT xử lý khoảng 700 triệu người dùng hàng tuần
• Khi chạy một mô hình cấp GPT-4 trên máy cục bộ, các vấn đề thiếu VRAM và suy giảm tốc độ rất nghiêm trọng, nên có thắc mắc OpenAI xử lý quy mô sử dụng lớn như vậy với độ trễ thấp và hiệu năng cao bằng cách nào
• Muốn biết các kỹ thuật tối ưu hóa mô hình, xử lý phân tán, phần cứng chuyên dụng và cân bằng tải vượt xa một cụm GPU đơn thuần

---

Tóm tắt các bình luận chính

1. Cấu trúc suy luận phân tán siêu quy mô

• Model Sharding
  • Phân tán lưu trữ tham số trên nhiều GPU
  • Khi có yêu cầu, mỗi GPU thực hiện tính toán trên phần tham số của mình rồi hợp nhất kết quả
• Tensor Parallelism
  • Nhiều GPU song song thực hiện tính toán trong cùng một layer
• Pipeline Parallelism
  • Chia các layer thành nhiều giai đoạn để xử lý tuần tự và đồng thời như một pipeline
• Dùng xử lý song song hỗn hợp để tối ưu bộ nhớ GPU và tải tính toán

2. Tối ưu bộ nhớ và tốc độ

• Quantization: chuyển tham số sang độ chính xác bit thấp hơn để giảm mức dùng VRAM
• Offloading layer: khi cần thì chuyển một số layer sang bộ nhớ CPU
• LoRA / Adapter Layers: chỉ fine-tuning cho tác vụ cụ thể nên không cần nạp lại toàn bộ mô hình
• KV caching: tái sử dụng ngữ cảnh để loại bỏ các phép tính lặp lại

3. Phần cứng chuyên dụng và mạng kết nối

• Sử dụng quy mô lớn các NVIDIA H100, A100 và một phần TPU mới nhất
• Truyền dữ liệu siêu tốc giữa GPU bằng NVLink và NVSwitch, giữa các cụm bằng Infiniband
• Xây dựng mạng backbone toàn cầu giữa các trung tâm dữ liệu để giảm độ trễ tối đa

4. Phân tán địa lý và cân bằng tải

• Triển khai GPU farm ở nhiều khu vực trên toàn thế giới
• Dùng GeoDNS để kết nối yêu cầu của người dùng tới khu vực gần nhất
• Mở rộng/thu hẹp động các cụm GPU theo mẫu lưu lượng
• Khi tải dồn vào một khu vực cụ thể thì phân phối lại lưu lượng trên phạm vi toàn cầu

5. Tối ưu xử lý yêu cầu

• Batch Inference: gom yêu cầu của nhiều người dùng để suy luận cùng lúc
• Tiền xử lý bằng mô hình nhỏ: yêu cầu đơn giản thì xử lý bằng mô hình nhỏ, chỉ gọi mô hình lớn cho yêu cầu phức tạp
• Caching kết quả: trả ngay từ cache cho cùng prompt hoặc các yêu cầu tương tự
• Dùng prompt engineering để tránh lãng phí token không cần thiết

6. Tối ưu vận hành và chi phí

• Giảm tài nguyên nhàn rỗi bằng giám sát mức sử dụng GPU và lập lịch
• Tối ưu hiệu suất điện năng trung tâm dữ liệu và áp dụng làm mát bằng chất lỏng
• Tăng tốc suy luận bằng trình biên dịch và runtime tối ưu hóa nội bộ
• Vận hành pipeline tự động hóa cho cập nhật và triển khai mô hình

Ví dụ luồng kiến trúc tổng thể

1. Tiếp nhận yêu cầu người dùng → định tuyến tới khu vực gần nhất bằng GeoDNS
2. Tiền xử lý → yêu cầu đơn giản dùng mô hình nhỏ, chỉ chuyển yêu cầu phức tạp sang mô hình lớn
3. Xử lý suy luận phân tán
   • Áp dụng model sharding + tensor parallelism + pipeline parallelism
   • Trao đổi kết quả trung gian qua mạng tốc độ cao giữa các GPU
4. Hậu xử lý và caching kết quả → lưu cache để phục vụ các yêu cầu giống hoặc tương tự
5. Trả phản hồi → cung cấp kết quả trong vòng 1~2 giây