Machine Learning trong môi trường production (khóa học của CMU)

Khóa học Machine Learning Production của Đại học Carnegie Mellon

• Tổng quan khóa học

  • Đây là khóa học về cách xây dựng, triển khai và duy trì các mô hình machine learning như những sản phẩm phần mềm.
  • Khóa học bao quát toàn bộ vòng đời, bao gồm AI có trách nhiệm, MLOps, an toàn, bảo mật, công bằng và khả năng giải thích.
  • Dành cho sinh viên đã có kinh nghiệm về khoa học dữ liệu và kỹ năng lập trình cơ bản.

• Mục tiêu khóa học

  • Học cách chuyển mô hình machine learning thành sản phẩm, đảm bảo chất lượng, đồng thời vận hành và bảo trì ở quy mô lớn.
  • Thúc đẩy sự hợp tác giữa kỹ sư phần mềm và nhà khoa học dữ liệu để xây dựng sự thấu hiểu lẫn nhau cần thiết khi phát triển hệ thống ML.
  • Phù hợp với sinh viên đang cân nhắc theo đuổi sự nghiệp kỹ sư ML.

• Các chủ đề chính

  • Thiết kế cho các dự đoán sai và cách đảm bảo an toàn, bảo mật.
  • Thiết kế giao diện người dùng và hệ thống có thể hoạt động trong môi trường thực tế.
  • Cách triển khai và cập nhật mô hình một cách đáng tin cậy.
  • Cách phát hiện vấn đề về chất lượng dữ liệu, concept drift và vòng lặp phản hồi.
  • Cách thiết kế và kiểm thử các hệ thống ML ở quy mô lớn.
  • Cách xác định và đo lường các yêu cầu chất lượng quan trọng ngoài độ chính xác dự đoán của mô hình, như công bằng, khả năng giải thích, quyền riêng tư, độ bền vững và an toàn.

• Kết quả học tập

  • Phân tích các trade-off khi thiết kế hệ thống production có bao gồm thành phần ML.
  • Lập kế hoạch cho sai sót của các thành phần ML và triển khai hệ thống vững chắc.
  • Thiết kế hạ tầng dữ liệu và hệ thống phục vụ thí nghiệm.
  • Đảm bảo chất lượng cho toàn bộ pipeline ML.
  • Xem xét các yêu cầu ở cấp độ hệ thống khi xây dựng sản phẩm ML phức tạp.
  • Giao tiếp hiệu quả trong các nhóm đa ngành.

• Thực hành và dự án

  • Sinh viên sẽ tham gia dự án xây dựng, triển khai, đánh giá và duy trì một dịch vụ gợi ý phim phục vụ 1 triệu người dùng.

• Lớp học và thực hành

  • Bài giảng diễn ra vào thứ Hai và thứ Tư, còn buổi thực hành diễn ra vào thứ Sáu với nhiều khung giờ khác nhau.
  • Có thể tham gia các hoạt động trong giờ học qua Slack, và bản ghi bài giảng được cung cấp trên Canvas.

• Đánh giá và bài tập

  • Việc đánh giá dựa trên bài tập cá nhân, dự án nhóm, thi giữa kỳ, mức độ tham gia, thực hành và quiz đọc tài liệu.
  • Mỗi bài tập đều cung cấp đặc tả rõ ràng và phân bổ điểm số để sinh viên có thể nắm được kỳ vọng cụ thể.

• Làm việc nhóm và cộng tác

  • Dự án nhóm được thực hiện theo đội 3-5 sinh viên và tinh thần làm việc nhóm là bắt buộc.
  • Các nhóm làm việc độc lập, và sự cộng tác trong nội bộ nhóm được khuyến khích.

• Thông tin khác

  • Các thông báo quan trọng được gửi qua Slack, và có thể đặt câu hỏi qua email hoặc Slack.
  • Tài liệu khóa học được công khai trên GitHub và cũng dành cho những sinh viên muốn tự học.

Khóa học này cung cấp những kỹ năng và kiến thức thiết yếu cho sinh viên quan tâm đến việc phát triển sản phẩm phần mềm sử dụng machine learning, đồng thời mang lại cơ hội tích lũy kinh nghiệm thực tế thông qua nhiều ví dụ và dự án thực tiễn khác nhau.

[GN⁺]

Ý kiến trên Hacker News

• Kafka, Docker, Kubernetes, Jenkins là các công cụ tiêu chuẩn của ngành, và việc tập trung vào MLOps mang lại cảm giác mới mẻ. Điều hay là khóa học không chỉ dừng ở việc xây dựng mô hình mà còn đề cập đến cách kết nối với các hệ thống production thực tế. Cũng rất ấn tượng khi khóa học đề cập đến khả năng giải thích, tính công bằng và giám sát

  • Có phải ở mức nhập môn không? Nếu nhìn vào phần thực hành, có khá nhiều nội dung mà một kỹ sư phần mềm trình độ trung cấp hoặc người mới nhưng có động lực cũng có thể học qua tutorial. Git, Flask, điều phối container đều hữu ích, nhưng với người đã làm việc trong môi trường production thì khá cơ bản. Có vẻ các thách thức chuyên sâu hơn như tối ưu hóa mạng cho huấn luyện phân tán hay quản lý suy luận ở quy mô lớn lại được đề cập ít hơn. Cũng tò mò không biết phần đó có xuất hiện trong dự án nhóm hay không
  • Tôi cũng tò mò về mức độ phù hợp lâu dài của các công cụ được dùng. Jenkins có ở khắp nơi, nhưng liệu có hợp lý hơn nếu giới thiệu những thứ hiện đại hơn cho CI/CD như GitHub Actions hoặc ArgoCD không? Kubernetes thì rõ ràng là phải biết, nhưng còn các lựa chọn thay thế hoặc công cụ bổ trợ cho triển khai edge hay hệ thống serverless thì sao? Có vẻ vẫn còn cơ hội để đi xa hơn một chút về phía tương lai

• Hầu như không thấy nói gì về chất lượng dữ liệu, mà tận chương 16 mới có... Tôi tự hỏi các tác giả có bao nhiêu kinh nghiệm thực chiến trong ngành. 90% thời gian thường dành cho chất lượng dữ liệu và làm sạch dữ liệu

• Có ai biết tài liệu hay khóa học nào về xây dựng hạ tầng cụm máy học không? Tôi chủ yếu quan tâm đến việc xây dựng và mở rộng hạ tầng lưu trữ, cũng như các cách tiếp cận về mạng và lập lịch

• Tôi tự hỏi có nơi nào để theo học cùng với những người không phải sinh viên hay không

• Tôi tự hỏi liệu ai cũng có thể đăng ký hay phải được nhận vào một chương trình khoa học máy tính hàng đầu của quốc gia

• Thật vui khi thấy khóa học này ở đây. Christian là một người tuyệt vời và làm việc rất xuất sắc. Tôi biết về sự khởi đầu của khóa học và cuốn sách này, và có thể mạnh mẽ khuyến nghị nó

• Tôi đã làm việc về nền tảng và hệ thống ML trong 9,5 năm ở mọi quy mô. Tài liệu trông rất tuyệt

• Thú vị đấy; tôi đã xem qua phần thực hành, và với tư cách là một lập trình viên full-stack không có nhiều kinh nghiệm về LLM, tôi đã thấy quen với một nửa nội dung rồi (git, flask, kafka, kubernetes), phần còn lại đơn giản chỉ là code. Không có toán học phức tạp liên quan đến ML

  • Điều đó có nghĩa là ML ops không phải là một lĩnh vực quá khó để các lập trình viên thông thường tiếp cận nếu không có bằng PhD sao?

• Tôi thích ý tưởng học một mình "Kubernetis"

• Có thể tôi đang đánh giá thấp độ phức tạp của khóa học, nhưng nghe như đây là một khóa nhập môn. Thành thật mà nói, hầu hết nội dung, kể cả các công cụ giải thích mô hình, đều có vẻ khá đơn giản. Tôi nghĩ việc dùng các công cụ tiêu chuẩn ngành cho hầu hết các trường hợp sử dụng là một điểm tốt