[NAVER] Chia sẻ trải nghiệm chuyển ML GPU model server sang CPU server mà vẫn giữ hiệu năng (feat. torchserve)

 (medium.com)
3 điểm bởi ninebow 2023-07-26 | 3 bình luận | Chia sẻ qua WhatsApp
  • Bài viết này là phần mô tả được tự động tạo bằng GPT-4 nên có thể có nội dung không chính xác.
  • Nếu bạn phát hiện nội dung sai, vui lòng cho biết qua phần bình luận!

Giới thiệu

Bài viết này chia sẻ quá trình đội phát triển Naver Place chuyển ML model server từ GPU sang CPU. Mục tiêu của việc chuyển đổi này là giảm chi phí máy chủ và giúp vận hành máy chủ hiệu quả hơn.

Tóm tắt

1. Chuyển model server từ GPU sang CPU

  • Đội phát triển Naver Place đã thực hiện việc chuyển model server từ GPU sang CPU. Mục tiêu của việc này là giảm chi phí máy chủ và giúp vận hành máy chủ hiệu quả hơn. Công việc này bao gồm việc thay thế GPU dùng cho huấn luyện mô hình (training) bằng CPU.

2. Cấu trúc của model server

  • Model server được cấu thành chủ yếu từ ba phần: huấn luyện mô hình, model server và client. Huấn luyện mô hình bao gồm quá trình dùng dataset để huấn luyện mô hình; model server lưu trữ mô hình đã được huấn luyện; còn client gửi yêu cầu tới model server và nhận phản hồi.

3. Chuyển từ GPU sang CPU

  • Việc chuyển từ GPU sang CPU bao gồm nhiều bước. Trước tiên, chỉnh sửa mã huấn luyện mô hình để có thể chạy trên CPU. Sau đó, cấu hình để model server có thể chạy trên CPU. Cuối cùng, chỉnh sửa mã client để có thể gửi yêu cầu tới model server đang chạy trên CPU.
  1. Kết quả sau chuyển đổi
  • Sau khi chuyển đổi, chi phí máy chủ đã giảm đáng kể và việc vận hành máy chủ trở nên hiệu quả hơn. Ngoài ra, model server chạy trên CPU vẫn hoạt động tốt mà không bị suy giảm hiệu năng so với khi chạy trên GPU.

Tham khảo

  • Naver Place Dev Blog
    • Blog này chia sẻ nhiều dự án và kinh nghiệm khác nhau của đội phát triển Naver Place. Bạn có thể tìm thêm thông tin về công việc chuyển đổi từ GPU sang CPU được đề cập trong bài viết này.

Bài viết liên quan

3 bình luận

 
xguru 2023-07-27

Tôi đã chỉnh sửa bài viết.
Nếu có câu cảnh báo ở phần đầu bài viết, thì trên Slack/Twitter sẽ chỉ hiển thị đúng câu cảnh báo đó.
Nếu có thể, mong bạn sắp xếp để phần đầu bài viết là phần tóm tắt.
 
ninebow 2023-07-27

Tôi sẽ chú ý hơn trong thời gian tới. Cảm ơn! :)