Spreadsheets are all you need - Học AI bằng bảng tính

 (spreadsheets-are-all-you-need.ai)
21 điểm bởi GN⁺ 2024-03-15 | 2 bình luận | Chia sẻ qua WhatsApp

Học AI bằng Excel

  • Tìm hiểu cách AI hoạt động thông qua một LLM thực tế được triển khai trong Excel
  • Triển khai Forward Pass của GPT-2 chỉ bằng các hàm Excel, không cần gọi API bên ngoài
  • Mục tiêu là cho thấy nếu bạn có thể hiểu bảng tính, bạn cũng có thể hiểu AI
  • Bài học 1: Hiểu GPT bằng Excel
  • Bài học 2: Byte Pair Encoding và Tokenization
  • Bổ sung: Xem chi tiết bản triển khai trên Excel (dành cho những người đã hiểu Transformers)
  • Được cung cấp dưới dạng XLSB (Excel Binary) nên có thể tải xuống và chạy trực tiếp (Mac/Windows đều được, nhưng khuyến nghị Windows)
  • Các giới hạn của bản triển khai
    • Mô hình GPT-2 nhỏ đầy đủ (124M tham số), bao gồm các giai đoạn BPE, multi-head attention và multilayer perceptron
    • Chỉ hỗ trợ suy luận/forward pass (không huấn luyện)
    • Ngữ cảnh bị giới hạn ở độ dài 10 token
    • Giới hạn 10 ký tự mỗi từ
    • Chỉ hỗ trợ đầu ra Zero Temperature

FAQ

  • Về Google Sheets: Dự án này ban đầu khởi đầu trên Google Sheets, nhưng toàn bộ mô hình quá lớn nên đã chuyển sang Excel. Vẫn đang tìm cách để nó chạy được trên Google Sheets, nhưng có khả năng sẽ không phù hợp dưới dạng một tệp duy nhất như trên Excel.
  • Vì sao không thể trò chuyện như ChatGPT: Ngoài việc độ dài ngữ cảnh rất ngắn, còn thiếu instruction tuning để biến nó thành chatbot tương tác và reinforcement learning from human feedback (RLHF).
  • Nguồn gốc tên gọi: Tên "Spreadsheets-are-all-you-need" là cách chơi chữ dựa trên tiêu đề bài báo nổi tiếng "Attention Is All You Need", công trình lần đầu mô tả kiến trúc học máy Transformer.

Ý kiến của GN⁺

  • Dự án này góp phần tăng khả năng tiếp cận AI và machine learning. Bằng cách sử dụng một công cụ quen thuộc như Excel để giúp hiểu công nghệ phức tạp, nó mang lại cơ hội cho cả người không chuyên học các nguyên lý cơ bản của AI.
  • Việc triển khai bằng Excel hữu ích cho việc hiểu trực quan cách một mô hình AI thực sự hoạt động, nhưng không phải là cách được dùng trong phát triển AI thực tế. Vì vậy, học AI theo cách này không đồng nghĩa với việc trở thành một nhà phát triển AI chuyên nghiệp.
  • Những công cụ giáo dục như vậy có thể làm tăng sự quan tâm của công chúng đối với AI và góp phần dân chủ hóa công nghệ AI. Tuy nhiên, khi xây dựng các hệ thống AI thực tế, vẫn cần đến những công cụ và framework chuyên nghiệp hơn.
  • Các dự án tương tự với mục đích giáo dục có thể kể đến như Machine Learning Crash Course của Google hoặc khóa học Machine Learning của giáo sư Andrew Ng trên Coursera. Những khóa học này kết hợp lý thuyết và thực hành để mang lại trải nghiệm học sâu hơn.
  • Khi áp dụng công nghệ này, cần hiểu rằng cách tiếp cận này khác với phát triển mô hình AI thực tế. Dự án tập trung vào mục đích giáo dục, còn trong các dự án phát triển AI thực tế, thông thường sẽ sử dụng các framework AI chuyên dụng như TensorFlow và PyTorch.

Bài viết liên quan

2 bình luận

 
GN⁺ 2024-03-15
Ý kiến trên Hacker News

  • Lời chào và cảm ơn từ tác giả

    • Người tạo dự án: Cảm ơn vì đã đăng bài, sẵn sàng trả lời câu hỏi hoặc đề xuất, và hy vọng điều này sẽ giúp mọi người hiểu rõ hơn về LLM (Large Language Models). Video tiếp theo sẽ nói về embeddings và sắp hoàn thành.

  • Giảng dạy mạng nơ-ron bằng bảng tính

    • Jeremy Howard: Đã dạy về mạng nơ-ron (NNs) bằng bảng tính trong nhiều năm, và cách này rất giàu tính giáo dục cũng như trực quan.

  • Giải thích mạng nơ-ron bằng bảng tính

    • Giờ đây thay vì nói với bạn bè rằng đó chỉ là "curve fitting", có thể giải thích rằng đó chỉ là "một bảng tính mà thôi".

  • Chia sẻ liên kết bảng tính

  • Câu hỏi về sự cần thiết của RLHF

    • Đặt câu hỏi liệu có thể không cần instruction tuning và reinforcement learning from human feedback (RLHF), vốn được dùng để biến mô hình ngôn ngữ lớn thành chatbot, hay không.

  • Ấn tượng về cách triển khai GPT-2 trong bảng tính

    • Rất ấn tượng với cách GPT-2 được triển khai trong bảng tính, và hỏi tác giả liệu dự án này có được open source hay không.

  • Khả năng triển khai GPT-3 hoặc GPT-4 trong bảng tính

    • Thắc mắc vì sao bảng tính không thể triển khai GPT-3 hay GPT-4.

  • Một dự án tuyệt vời giúp hiểu về LLM

    • Đây là một dự án rất tuyệt và đã được chia sẻ cho 7 người để giúp họ hiểu hơn về LLM (Large Language Models).

  • Chia sẻ trường hợp giải PDE trong Excel

    • Chia sẻ rằng có những trường hợp giải phương trình đạo hàm riêng (PDEs) trong Excel. Trước đây đã biết về FFT (Fast Fourier Transform) và các hàm đặc biệt, nhưng điều này trông rất thú vị và vui.

  • Công ty AI lấy ngân hàng đầu tư làm khách hàng

    • Ý tưởng về một công ty AI lấy các ngân hàng đầu tư làm khách hàng là cực kỳ khôn ngoan.