- Khóa học do Đại học Carnegie Mellon (CMU) mở, là một môn nhập môn về nguyên lý vận hành của các hệ thống trí tuệ nhân tạo hiện đại
- Tập trung vào học máy và mô hình ngôn ngữ lớn (LLM), giúp học viên tìm hiểu công nghệ nền tảng của các hệ thống như ChatGPT, Gemini, Claude
- Người học sẽ nắm được học có giám sát cơ bản, mạng nơ-ron, Transformer, hậu huấn luyện (post-training) và có thể tự triển khai LLM mã nguồn mở
- Phiên bản trực tuyến được cung cấp miễn phí, với video bài giảng và bài tập được công bố chậm hơn 2 tuần so với lớp học tại CMU
- Cho phép sử dụng công cụ AI, nhưng khuyến nghị bài nộp cuối cùng phải do chính người học tự viết; đây là chính sách nhằm nâng cao mức độ hiểu bài
Tổng quan khóa học
- Khóa học này xoay quanh trí tuệ nhân tạo (AI) theo nghĩa hiện đại, tức học máy và mô hình ngôn ngữ lớn (LLM)
- Đề cập đến công nghệ nền tảng của các hệ thống như ChatGPT, Gemini, Claude
- Cách triển khai cơ bản của LLM được cấu thành từ một số ít kỹ thuật và kiến trúc học máy, có thể viết trong vài trăm dòng mã
- Người học sẽ nắm các nguyên lý cơ bản của học có giám sát, LLM, hậu huấn luyện (post-training) và có thể tự triển khai chatbot AI
- Các chủ đề chính gồm
- Lịch sử ngắn gọn của AI
- Học có giám sát: mô hình tuyến tính, hàm mất mát, tối ưu hóa, mạng nơ-ron
- Mô hình ngôn ngữ lớn: self-attention, Transformer, tokenizer, suy luận hiệu quả
- Hậu huấn luyện: tinh chỉnh có giám sát, căn chỉnh và tinh chỉnh theo chỉ thị, mô hình suy luận, an toàn và bảo mật
Khóa học trực tuyến
- Phiên bản trực tuyến miễn phí được mở cùng thời điểm với lớp học tại CMU, nhưng cung cấp nội dung chậm hơn 2 tuần so với lịch CMU
- Bao gồm video bài giảng, bài tập (hệ thống mugrade), notebook Colab, v.v.
- Không bao gồm quiz, thi giữa kỳ và thi cuối kỳ trong phiên bản trực tuyến
- Có thể nhận thông báo qua email khi bài giảng và bài tập được công bố qua Enroll here
- TA, giờ office hour, chấm điểm, v.v. chỉ áp dụng cho lớp học tại CMU
Đánh giá và điều kiện tiên quyết
- Cơ cấu điểm số
- Bài tập và lập trình: 20%
- Quiz bài tập: 40%
- Thi giữa kỳ và cuối kỳ: 40% (mỗi giữa kỳ 10%, cuối kỳ 20%)
- Học phần tiên quyết bắt buộc
- Lập trình: cần thành thạo lập trình hướng đối tượng với Python (15-112 hoặc 15-122)
- Toán học: giải tích cơ bản có bao gồm vi phân (21-111 hoặc 21-120), khuyến nghị có nền tảng đại số tuyến tính và xác suất
Bài tập và lập trình
- Các bài tập chính hướng tới mục tiêu triển khai dần dần một chatbot AI
- Nộp bài thông qua hệ thống mugrade, có cung cấp phiên bản notebook Colab và Marimo
- Một số bài tập được thực hiện dựa trên kết quả của bài trước đó
- Danh sách bài tập
- HW0: chấm điểm tự động và nền tảng lập trình
- HW1: đại số tuyến tính và PyTorch
- HW2: vi phân tự động và huấn luyện mô hình tuyến tính
- HW3: huấn luyện mạng nơ-ron
- HW4: triển khai Transformer
- HW5: triển khai LLM tối thiểu
- HW6: tinh chỉnh có giám sát và huấn luyện chatbot
- HW7: học tăng cường
- Sau mỗi bài tập có quiz 15 phút, được ra dựa trên mã nguồn hoặc khái niệm của bài tập
Thi cử và lịch học
- Gồm 2 bài thi giữa kỳ và 1 bài thi cuối kỳ, tất cả đều là thi trực tiếp, hình thức đóng
- Giữa kỳ 1: học có giám sát
- Giữa kỳ 2: mô hình ngôn ngữ lớn
- Cuối kỳ: đánh giá tích lũy (phần nửa sau có trọng số cao hơn)
- Lịch học được cập nhật trong học kỳ, và phiên bản trực tuyến được công bố sau 2 tuần
- Ví dụ: 1/12 'Lịch sử AI', 1/28 'Mô hình tuyến tính', 2/16 'Thi giữa kỳ 1', 3/18 'Thi giữa kỳ 2', 4/20 'Hạn nộp HW7', v.v.
Chính sách sử dụng công cụ AI
- Cho phép dùng trợ lý AI: có thể dùng công cụ AI để tham khảo khi làm bài tập và lập trình
- Tuy nhiên, rất khuyến nghị bài nộp cuối cùng phải do chính người học tự viết
- Trong các bài đánh giá trên lớp (quiz, thi), cấm sử dụng AI và tài liệu bên ngoài
- Mục đích của chính sách là nâng cao hiệu quả học tập
- AI hữu ích cho việc hỗ trợ học, nhưng phụ thuộc quá mức có thể làm giảm mức độ hiểu bài
- Sinh viên tự giải bài tập có xu hướng đạt kết quả tốt hơn trong quiz và kỳ thi
1 bình luận
Ý kiến trên Hacker News
Xem chính sách của môn AI này thì việc dùng trợ lý AI cho bài tập và bài lập trình được cho phép, nhưng bản nộp cuối cùng được khuyến nghị phải tự viết
Trong các bài kiểm tra ngắn hay kỳ thi trên lớp thì cấm dùng AI hoặc tài liệu bên ngoài
Lý do là AI hữu ích như một công cụ học tập, nhưng phụ thuộc quá mức có thể cản trở việc học
Có bằng chứng từ thực tế rằng những sinh viên tự giải quyết vấn đề đạt kết quả tốt hơn nhiều trong kỳ thi
Họ biết sinh viên kiểu gì cũng sẽ dùng AI, nhưng điểm mấu chốt là tin vào ý chí học tập và sự tự phát triển của họ
Tôi từng hỗ trợ một khóa tương tự, và nếu AI giúp gỡ lỗi thì sinh viên có thể học được nhiều nội dung hơn và tập trung vào những phần thú vị như triển khai CUDA
Khóa học mới này trông thực sự rất hấp dẫn, và giáo sư Zico là một giảng viên xuất sắc
Tăng tốc độ hiểu bài bằng AI, rồi đến cuối cùng được đánh giá mà không có AI là cấu trúc tốt để củng cố việc học
Khi đó tôi thấy không công bằng, nhưng giờ nghĩ lại thì đó là một cách rất công bằng
Có vẻ là cách tiếp cận còn phù hợp hơn trong thời đại này
Giảng viên của môn này là thành viên hội đồng quản trị OpenAI
Bài liên quan: Zico Kolter joins OpenAI’s board of directors
Thật tiếc khi ‘modern AI’ ở đây dường như chỉ để chỉ LLM
AI hiện đại bao hàm một phạm vi rộng hơn nhiều, nên chỉ nhìn tiêu đề tôi đã kỳ vọng sẽ có thêm nhiều mô hình SOTA đa dạng hơn
Dù vậy các bài giảng của CMU nhìn chung đều rất tốt nên đây có lẽ vẫn là một khóa học hay
Nếu có tài liệu nào còn bao quát sang các lĩnh vực khác thì tôi rất quan tâm
Tôi đã học bản miễn phí từ vài ngày trước, và hệ thống bài tập thực sự rất xuất sắc
Có thể tự chạy test ngay trên máy local, nên học hiệu quả hơn nhiều so với chỉ xem bài giảng
Tôi chấm 10/10, rất đáng học
Không biết làm trên máy cá nhân là đủ hay sẽ được cấp quyền truy cập cụm máy
Tôi muốn biết liệu đây có phải là một khóa học tốt không
Hoặc có khóa học nào khác đáng đề xuất để học một cách có hệ thống về cách LLM hoạt động hay không
Tôi muốn hỏi những người thực sự đang theo học và làm đầy đủ mọi bài tập
Thực tế thì cần đầu tư bao nhiêu giờ mỗi tuần để có thể hoàn thành trọn vẹn khóa này?
Tôi đang chờ đến lúc có Postmodern AI
Thật tiếc là không có nội dung về suy luận biểu tượng (symbolic reasoning)
Tôi mong sẽ có giáo trình xuất bản để xem cùng với bài giảng
Nếu ra mắt tôi sẽ mua ngay
Thật vui khi thấy Lisp và Prolog được hồi sinh
Dù vậy Lisp và Prolog vẫn rất hữu ích
Khi tự triển khai mạng nơ-ron từ đầu thì C là phù hợp, còn dùng Python để kết nối các subsystem là đủ để tạo ra hệ thống khá phức tạp
Chúng luôn âm thầm tồn tại trong lãnh địa riêng của mình