Sự cố quy mô lớn trên ChatGPT và API

 (status.openai.com)
3 điểm bởi GN⁺ 2023-11-09 | 2 bình luận | Chia sẻ qua WhatsApp
  • Trong khoảng 5:42AM–7:16AM PT ngày 8/11, một phần đáng kể các yêu cầu trên toàn bộ ChatGPT và API của OpenAI thất bại với lỗi 502 hoặc 503, ảnh hưởng đến tất cả mô hình và endpoint API
  • Các node ở tầng định tuyến chạm giới hạn bộ nhớ và thất bại trong kiểm tra trạng thái sẵn sàng; khi đủ nhiều node chuyển sang trạng thái unavailable, hệ thống không còn đủ năng lực xử lý lưu lượng đi vào
  • Sáng hôm đó, số lượng yêu cầu completion tăng mạnh hơn bất kỳ ngày nào trước đó, trở thành điểm tới hạn khiến vấn đề bộ nhớ hiện hữu lan thành sự cố toàn dịch vụ
  • Việc khôi phục được thực hiện theo từng bước: hạn chế lưu lượng đi vào, tái triển khai dịch vụ trên quy mô lớn, rồi mở lại lưu lượng dần dần; sau khi sửa để tái sử dụng responseBuffer, mức sử dụng bộ nhớ và CPU cải thiện 3 lần
  • OpenAI đã điều chỉnh giới hạn bộ nhớ, chặn tải dựa trên rate limit và tăng dung lượng; công ty dự kiến bổ sung cảnh báo bộ nhớ và cấu hình tự động mở rộng (auto scaling)

Phạm vi sự cố và nguyên nhân trực tiếp

  • Trong khoảng 5:42AM–7:16AM PT ngày 8/11, một phần đáng kể các yêu cầu tới OpenAI thất bại với lỗi 502 hoặc 503
  • Trong thời gian xảy ra sự cố, tỷ lệ thất bại tăng mạnh trên tất cả mô hình và endpoint API
  • Nguyên nhân trực tiếp là các node ở tầng định tuyến chạm giới hạn bộ nhớ và thất bại trong kiểm tra trạng thái sẵn sàng
    • Một số lượng đủ lớn node trong dịch vụ chuyển sang trạng thái unavailable
    • Không còn đủ năng lực để xử lý lưu lượng đi vào
    • Dịch vụ không thể tự phục hồi
  • Sáng hôm đó có nhiều yêu cầu completion hơn hẳn bất kỳ ngày nào trước đó, và điều này đóng vai trò là điểm tới hạn gây ra sự cố

Biện pháp khôi phục và ngăn tái diễn

  • Ứng phó tức thời được thực hiện bằng cách kết hợp ba việc
    • Hạn chế lưu lượng đi vào
    • Tái triển khai quy mô lớn dịch vụ
    • Tăng lại lưu lượng một cách từ từ
  • Nguyên nhân gốc rễ của vấn đề bộ nhớ kéo dài là việc không tái sử dụng responseBuffer trong vòng lặp mà liên tục cấp phát mới
    • Khi có nhiều yêu cầu, GC không theo kịp
    • Bản sửa được thực hiện bằng cách cấp phát trước bộ đệm và tái sử dụng nó
    • Sau khi triển khai, cả mức sử dụng bộ nhớ lẫn CPU đều cải thiện 3 lần
  • Các biện pháp bổ sung đã được áp dụng:
    • Điều chỉnh giới hạn bộ nhớ đã cấu hình về mức phù hợp, tạo ra headroom đáng kể cho dịch vụ
    • Triển khai rate limit controls để giảm lưu lượng nhận vào một cách mềm hơn
    • Tăng dung lượng dịch vụ như một biện pháp phòng ngừa bổ sung
  • Các thay đổi sẽ áp dụng trong thời gian tới:
    • Triển khai thay đổi cảnh báo để phát hiện hành vi bộ nhớ trước khi nó phát triển thành vấn đề dịch vụ
    • Trước đây, không thể bật tự động mở rộng cho dịch vụ này vì việc bổ sung dung lượng có thể tác động tiêu cực đến upstream service
    • Khi vấn đề gốc rễ đó đã được giải quyết, OpenAI dự kiến cấu hình tự động mở rộng cho dịch vụ này
  • Sự cố API kéo dài ảnh hưởng đến sản phẩm và hoạt động kinh doanh của khách hàng; sự cố ở quy mô này có thể đặc biệt gây thiệt hại lớn

Bài viết liên quan

2 bình luận

 
xguru 2023-11-09

Có vẻ do ảnh hưởng từ sự kiện dành cho nhà phát triển lần này nên lưu lượng đã đổ dồn về. Chắc chắn là GPT-4 Turbo đã thay đổi đầu ra khá nhiều. Cả phần tóm tắt GN+ cũng gần như không chỉnh sửa prompt mà định dạng đã bị đổi mất rồi.
 
GN⁺ 2023-11-09
Ý kiến trên Hacker News

  • ChatGPT bị sập nên hôm nay lần đầu tôi dùng thử Google Bard, nói thật là khá ổn
    Nó có một giọng điệu khác biệt tinh tế so với ChatGPT, khó mà diễn tả

    • Tôi hay được khuyên dùng Bard, nhưng gần như lần nào nó cũng trả về thông tin sai hoặc dễ gây hiểu nhầm
    • Bard có dữ liệu huấn luyện và cách huấn luyện khác, nên chỉ riêng điều đó cũng phần nào giải thích được vì sao nó khác ChatGPT
      Từ góc nhìn người dùng, cách dẫn dắt để lấy được câu trả lời mong muốn là khác nhau, và cách đặt câu hỏi hay prompt engineering cũng phải khác
    • Cũng vì lý do đó mà hôm nay tôi dùng thử lần đầu, nhưng nó chậm hơn và yếu hơn nhiều về lập trình
      Tôi chỉ hỏi một truy vấn tổng hợp SQL mà nó cứ thế bỏ qua một phần yêu cầu của truy vấn
    • Bard có bộ lọc quá hung hăng
      Dù chỉ brainstorm ý tưởng về một tên trộm trong thế giới fantasy, ví dụ kiểu không khí giống Lies of Locke Lamora, nó vẫn thường từ chối hợp tác
      Có vẻ nó chạy một bộ lọc heuristic nào đó trên đầu ra trước khi hiển thị cho người dùng, và đôi khi chỉ cần sửa prompt một chút là lọt
      Phía ChatGPT thì hệ thống đủ thông minh để nhận ra tội phạm trong fantasy không phải là thông tin hướng dẫn thực hiện tội phạm ngoài đời
    • Tôi đã thử https://you.com/chat và thấy không tệ
      Mô hình GPT4 có mã dùng thử miễn phí một tháng "codegpt", còn GPT3.5 thì miễn phí

  • Phind khá tốt cho lập trình, dựa trên LLama 2 được huấn luyện thêm hàng chục tỷ token mã nguồn nên vẫn còn sống: https://www.phind.com/s

    • Tôi tò mò mọi người dùng Phind như thế nào
      Gần đây tôi đã nói chuyện trực tiếp với Phind, và nó nói rằng để giúp được tôi thì nó cần đọc codebase của tôi để hiểu các model mà tôi đang nói đến
      Nếu không biết codebase, tôi nghĩ nó không thể viết đúng được gì ngoài những hàm tầm thường nhất
      Phind cũng trả lời là đúng như vậy, nhưng nói rằng thực tế nó không thể đọc codebase
      Nó nói khá mạch lạc và trông như hiểu điều tôi đang nói
      Nếu nó không thể giúp với những hàm nhận hoặc trả về các class không tầm thường làm tham số, thì tôi không hiểu giá trị của nó rốt cuộc đến từ đâu
    • Tôi đã nhận được nhiều kết quả tốt từ Phind
      Mô hình fine-tune mới nhất V7 dùng khá thích và tốt hơn hầu hết các mô hình open-source
      Tuy nhiên ở cuối link có thêm chữ s nên bị 404
    • Phind có hơi gặp vấn đề về tính nhất quán, nhưng nhìn chung tôi không phàn nàn gì lớn
      Thỉnh thoảng có vài lỗi nhỏ như prompt lớn thì không có phản hồi hoặc các tùy chọn trả lời biến mất
      Nhìn chung nó phù hợp để trao đổi ý tưởng cùng ChatGPT hoặc lấy góc nhìn khác
      Tính năng chú thích hiển thị các website mà nó lấy thông tin cũng được làm rất tốt
    • Có vẻ Phind cũng sập rồi
      "The inference service may be temporarily unavailable - we have alerts for this and will be fixing it soon."
    • Tôi vừa thử: https://www.phind.com/search?cache=on5whfczqko9igz84bvacksk
      Theo tôi thì toàn bộ là ảo giác. Điểm tốt là nó gắn link tài liệu
      Sửa: đổi astrojs thành vite thì nó cho câu trả lời rất tốt và chính xác: https://www.phind.com/search?cache=rh6s7pydzi3312b7rf43i7cm
      Khá ấn tượng

  • Chà, đúng là toát mồ hôi lạnh
    Khoảng 48 giờ trước khi ra mắt, chúng tôi vừa chuyển phần lớn dịch vụ sang Azure OpenAI, và lần sự cố này không ảnh hưởng đến chúng tôi
    Thật sự nhẹ cả người

    • Thú vị thật. Vậy là Azure OpenAI không bị ảnh hưởng à?
      Tôi tò mò liệu nó có nhận cập nhật hệ thống cùng thời điểm với OpenAI API không, và giá có giống nhau không

  • Đây chính là lúc thích hợp để nói rằng HuggingFace có host nhiều mô hình chat open-source
    Một trong những mô hình tôi thích là bản fine-tune của Mistral 7B: https://huggingface.co/spaces/HuggingFaceH4/zephyr-chat

    • Trước đây tôi từng thử nghiệm một chút với các mô hình ngôn ngữ lớn chạy local, nhưng khi đó không tìm được mô hình nào vừa nhỏ để chạy trên 3080 Ti vừa đủ tốt
      Mô hình này đủ nhỏ để chạy ở tốc độ tạm dùng được, đạt hơn 1 token/giây một chút, và cho đến giờ có vẻ gần ngang GPT3.5
    • Nếu miễn phí thì tôi tò mò họ kiếm tiền bằng cách nào

  • Tôi định nói đây là cơ hội để Bard tỏa sáng, nhưng có vẻ Bard cũng đang gặp sự cố

    • Tôi vào dùng thử Bard, màn hình gọn gàng và UI thật sự tốt
      Phản hồi cũng trông được sắp xếp tốt và dễ đọc
      Giá mà trí tuệ nhân tạo của nó tốt ngang OpenAI thì hay
    • Có lẽ phải đội mũ giấy bạc thôi. Chuyện này không thể là ngẫu nhiên được :D
    • Nó hiện "Something went wrong. Sorry, Bard is still experimental"
      Có vẻ đã bỏ lỡ cơ hội rồi
    • Bard vẫn còn quá rụt rè, và thậm chí vẫn chưa phải là dịch vụ quốc tế
    • Có vẻ chúng đã bắt đầu nói chuyện với nhau

  • Dựa trên những người hay nói bỗng dưng im lặng, đây đúng là lúc hoàn hảo để scrape bình luận HN xem ai đang dùng ChatGPT để viết bình luận HN

    • Hehe. Với tư cách là một mô hình ngôn ngữ lớn, tôi nghĩ những con người khác không nên nghe theo lời của con người này ;)

  • Đã nhận ra sự cố
    Cảm giác như nhiều người dùng ChatGPT như bánh phụ cho xe đạp, rồi quên mất cách đi xe khi không có bánh phụ

    • Nếu theo phép so sánh đó thì có vẻ nó giống nạng hơn là bánh phụ
      Nếu không có nó mà không thể đi được, thì bạn chẳng rèn luyện được gì cả
    • Đúng hơn là cảm giác như thế này
      Bạn đang chế tạo một chiếc mô tô truyền thống, rồi có ai đó đề xuất dùng động cơ xe đạp điện; vì còn chưa có cả động cơ đốt trong, bạn nghĩ dùng tạm nó để đẩy nhanh bản demo hoặc ra mắt thị trường, rồi sau này sẽ thay bằng động cơ thật
      Nhưng đến lúc hoàn thiện tay lái, động cơ xe đạp điện đã được nâng cấp bốn lần và trở nên tốt hơn bất kỳ động cơ đốt trong nào. Vậy thì chẳng còn lý do gì phải thay nữa
      Đến khi ra được thị trường, động cơ đó đã được cập nhật thêm nhiều lần nữa, có thể tự lái hoàn toàn và thậm chí còn bay được
      Hơn nữa, nó còn có thể tự sao chép, nên giờ người mua có thể không còn cần đến bạn nữa

  • Giờ hàng triệu lập trình viên junior sẽ phải đọc tài liệu hướng dẫn
    Một ngày trọng đại

    • Thật ngạc nhiên khi việc chuyển sang và phụ thuộc vào ChatGPT diễn ra đột ngột và triệt để đến vậy
      Đây là những ngày cuối cùng của nghề chúng ta, cứ tận hưởng đi
    • Đọc tài liệu hướng dẫn là việc của khủng long, giờ thì phải Google thôi

  • Hôm nay tôi thử dùng Bard, thấy đã khá hơn nhiều

    • Hy vọng là vậy
      Những vấn đề của Bard vẫn khiến tôi kinh ngạc
      Tháng trước, nó nói dối về một sự thật nào đó; khi tôi hỏi kỹ hơn, nó còn khẳng định đã gửi email
      Rồi nó xin lỗi, nói rằng thực ra nó không gửi email và nó “biết” là mình không thể gửi
      Giống như một người bạn không thể nói ‘tôi không biết’ mà thay vào đó lại nói dối
      Tôi đã hỏi liệu bên trong tượng ‘Christ the King’ ở Lisbon từng có chợ hay không, vì muốn kiểm chứng một tin đồn nghe từ người địa phương
      Thực tế là không có, nhưng Bard tin là có

  • May là OpenAI không có thỏa thuận mức dịch vụ: https://help.openai.com/en/articles/5008641-is-there-an-sla-for-latency-guarantees-on-the-various-engines

    • Nói với tư cách một fan cuồng của GPT, tôi ngạc nhiên vì OpenAI với tư cách một công ty lại tệ đến vậy, vậy mà chúng ta lại leo lên nền tảng khủng khiếp đó nhanh đến thế
      9 tháng trước, ở công ty mới, tôi gặp một lỗi khiến không thể đăng nhập vào tài khoản OpenAI dùng cho công việc
      Họ mất 6 tháng mới trả lời yêu cầu hỗ trợ, và tôi nhận được một câu trả lời chung chung copy-paste hoàn toàn không liên quan đến vấn đề của mình
      Chúng tôi đang chi rất nhiều tiền, nhưng không thể nhận được phản hồi hay tìm được ai để nói chuyện qua điện thoại
      Cuối cùng tôi phải nhờ đồng nghiệp tạo hộ tất cả các key
      Rồi khoảng 8 tháng sau, một ngày nọ nó đột nhiên hoạt động trở lại mà chẳng có lý do gì
      Ngay sau đó chúng tôi chuyển sang Azure OpenAI Service, vì nền tảng OpenAI quá thảm hại đối với một doanh nghiệp nghiêm túc