Mong tình trạng ‘thiếu GPU’ kéo dài mãi — trợ cấp AI mã nguồn mở

 (a16z.com)
1 điểm bởi GN⁺ 2023-09-01 | 1 bình luận | Chia sẻ qua WhatsApp
  • a16z xem AI mã nguồn mở là nền tảng cốt lõi của hệ sinh thái AI, và đã khởi động Open Source AI Grant nhằm thu hẹp khoảng cách về tài nguyên của các nhà phát triển
  • Khi ngày càng có nhiều mô hình mã nguồn mở cạnh tranh với mô hình đóng, các công việc tinh chỉnh·tối ưu hóa của cá nhân và các nhóm nhỏ đang nâng cao tính hữu dụng của mô hình
  • Đối tượng hỗ trợ là các dự án mở rộng ranh giới công nghệ như instruction-tuning, LLM không kiểm duyệt, lượng tử hóa để chạy cục bộ, công cụ suy luận, và nghiên cứu bảo mật LLM
  • AI mã nguồn mở, khi quy mô mô hình càng lớn, đòi hỏi nhiều tài nguyên tính toán GPU ngay cả cho việc tinh chỉnh, nên gánh nặng tài nguyên lớn hơn các dự án hạ tầng truyền thống
  • Khoản trợ cấp này không phải đầu tư hay SAFE note, nên người nhận có thể tiếp tục công việc mã nguồn mở mà không chịu áp lực về lợi nhuận tài chính

Công bố a16z Open Source AI Grant

  • a16z hỗ trợ một số ít nhà phát triển mã nguồn mở dưới hình thức trợ cấp thông qua chương trình Open Source AI Grant
  • Khoản hỗ trợ không phải đầu tư hay SAFE note, được thiết kế để giúp các nhà phát triển tiếp tục công việc mà không chịu áp lực phải tạo ra lợi nhuận tài chính
  • a16z tin rằng một hệ sinh thái mã nguồn mở thịnh vượng là yếu tố thiết yếu để định hình tương lai của AI

AI mã nguồn mở cạnh tranh với mô hình đóng

  • Trong hệ sinh thái mã nguồn mở, các mô hình mã nguồn mở đang xuất hiện để cạnh tranh với các lựa chọn thay thế dạng đóng
  • Hàng trăm nhóm nhỏ và cá nhân đang làm việc để biến mô hình trở nên hữu ích hơn, dễ tiếp cận hơn và có hiệu năng tốt hơn
  • Các dự án này giúp nâng tầm kỹ thuật của AI mã nguồn mở, đồng thời góp phần tạo ra sự hiểu biết vững chắc và toàn diện hơn về công nghệ

Vì sao tài nguyên GPU trở thành nút thắt cổ chai

  • Những người xây dựng dự án thường thiếu tài nguyên để theo đuổi công việc đến cùng hoặc duy trì lâu dài
  • Trong các dự án AI, vấn đề tài nguyên nổi lên rõ rệt hơn so với hạ tầng truyền thống
    • Ngay cả việc tinh chỉnh mô hình cũng cần lượng đáng kể tài nguyên tính toán GPU
    • Mô hình mã nguồn mở càng lớn thì lượng tài nguyên cần thiết cũng tăng theo

Các hạng mục công việc mà trợ cấp hướng tới

  • Đối tượng hỗ trợ bao gồm nhiều loại công việc nhằm nâng cao tính thực dụng của các mô hình và công cụ AI mã nguồn mở
    • instruction-tuning cho LLM nền tảng
    • Tinh chỉnh LLM không kiểm duyệt
    • Tối ưu hóa để chạy mô hình trên máy công suất thấp
    • Xây dựng công cụ mới cho suy luận mô hình
    • Nghiên cứu các vấn đề bảo mật LLM
    • Các công việc khác liên quan đến AI mã nguồn mở

Những người nhận trợ cấp đầu tiên và các dự án

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-09-01
Ý kiến trên Hacker News

  • Tôi là một trong những người nhận AI grant, và rất biết ơn a16z vì đã hỗ trợ công việc của tôi tại fast.ai
    Grant của tôi được dùng để mua một máy chủ Scalar của Lambda Labs, và tôi đã có thể cấu hình nó với 8 GPU A6000 thế hệ trước
    Một phần cũng là nhờ NVIDIA gần đây đã cung cấp 3 chiếc trong số đó, và Lambda Labs cũng cung cấp theo giá vốn
    a16z không yêu cầu cổ phần hay bất kỳ khoản đổi lại nào, ngoài việc công bố rằng họ đã cung cấp grant này, và quy trình diễn ra rất trơn tru
    Gần như không có biểu mẫu nào, tôi chỉ ký một hợp đồng một trang; hợp đồng rõ ràng và công bằng, nêu rõ a16z không nhận bất kỳ quyền lợi nào, và tiền mua máy chủ cũng được chuyển ngay

    • A6000 GPU thế hệ trước được nói tới ở đây là để phân biệt “RTX A6000” với “RTX 6000 Ada Generation”
      Cái trước dùng kiến trúc Ampere, tương ứng với dòng GeForce 30; cái sau dùng kiến trúc Ada, tương ứng với dòng GeForce 40
      Có vẻ Nvidia tin rằng họ có thể đặt tên thế hệ công nghệ tệ không kém gì USB Implementers Forum
    • Việc a16z không yêu cầu cổ phần hay khoản đổi lại nào ngoài việc công bố grant, và hợp đồng nêu rõ họ không nhận bất kỳ quyền nào, là một cách làm khá hào phóng và là tín hiệu mạnh cho thấy họ là một nhà kinh doanh chính trực
    • Thật vui khi thấy một trường hợp hỗ trợ không kèm điều kiện được đưa đến đúng nơi cần, cho người sẽ biết ơn
      Mong sẽ có nhiều việc như thế này hơn, và chúc công việc của jph00 gặp nhiều may mắn

  • HN thân mến, chúng tôi rất vui được công bố sáng kiến mới này
    Chương trình này được thiết kế để hỗ trợ các cá nhân, nhóm và hacker không theo đuổi việc xây dựng công ty thương mại
    Dù vậy, các dự án này vẫn đang đẩy tuyến đầu của AI mã nguồn mở tiến lên, đồng thời giúp chúng ta hiểu vững chắc và bao quát hơn về cách công nghệ phát triển
    Chúng tôi tự hào được đóng góp một phần nhỏ, và cảm ơn cohort đầu tiên cũng như tất cả những ai đang đóng góp cho lĩnh vực này

    • Tôi nghĩ đây là một dự án tốt
      Tôi tò mò liệu một cá nhân muốn đóng góp cho lĩnh vực này bằng những ý tưởng dữ liệu huấn luyện khác nhau thì trước hết có cần tự chứng minh năng lực để được chú ý không, hay có cách nào để nộp đề xuất
      Trường hợp của tôi thì chi phí tính toán khá đắt, nên tôi có thể chi trả vài lần thử proof-of-concept, nhưng hơn thế thì khó; với một chiếc 4090, tôi không thể chạy llama70b nhanh hơn 1it/s
    • Tôi tò mò không biết GPU được lấy từ đâu

  • Tôi rất vui khi thấy oobabooga có trong danh sách
    Mỗi người đang đóng góp theo cách riêng, và ooba đóng vai trò như một cổng rất tốt để thử nhiều mô hình khác nhau
    README cũng nói rằng nó muốn trở thành một thứ giống automatic 1111 trong lĩnh vực tạo văn bản
    Với người mới như tôi, ooba là một điểm khởi đầu tốt để khám phá thế giới mới này

  • Nhìn vào những người đang nhận grant hiện tại, tôi muốn chúc mừng họ
    Tất cả đều là các cá nhân hoặc nhóm có tầm ảnh hưởng lớn, và có thể thấy đã có sự tìm hiểu kỹ để đưa tiền đến đúng nơi cần đến

  • Câu hỏi của người mới: nếu có 25.000 USD, liệu tôi có thể mua vài GPU để góp phần hỗ trợ “GPU Poor” không?
    Tôi tò mò liệu có hướng dẫn DIY nào để tự dựng thứ như vậy không
    Tôi không hẳn muốn quyên góp tiền mặt, mà muốn bằng cách nào đó thiết lập vài GPU để mọi người có thể dùng với giá vốn

    • Với 25K, bạn có thể thuê máy chủ, hoặc lắp đại khái một máy kiểu 8x4090
      Các máy chủ 8xA100, 8xH100 mà hầu hết mọi người muốn chạy có giá hơn 200.000 USD, và kể cả có tiền thì hiện nay rất có thể cũng rất khó mua
    • Bạn có thể dùng vast.ai để bắt đầu cung cấp kiểu này, và tài liệu hosting cũng khá đầy đủ: https://vast.ai/docs/hosting/hosting
      Có lẽ bạn không thể giới hạn cho một nhóm người dùng cụ thể, nhưng phía dùng vast.ai chủ yếu sẽ là các công ty nhỏ, cá nhân và nhà nghiên cứu hơn là các tập đoàn khổng lồ, nên thực tế cũng là đang giúp “GPU Poor”
    • Với ngân sách đó, nói thật tôi khuyên nên dùng spot/instance thuê hơn là mua
      A100 khoảng 2 USD/giờ, và phần khó là có được quota lớn
      Công việc huấn luyện dù sao cũng khá thất thường, thường là chạy nhiều thử nghiệm nhỏ trước một lần chạy lớn
    • Tôi không muốn gán ý xấu, nhưng tôi nghĩ chuyện này giống mua condo rồi dùng tiền thuê để trả khoản vay hơn là quyên góp tài nguyên
    • Giả sử địa điểm là Bờ Đông, New York

  • Việc này thật sự tuyệt
    Tôi thấy nhiều công cụ mình từng dùng trong danh sách, nên rất vui khi thấy chúng nhận được hỗ trợ tài chính
    Hy vọng Ollama cũng sớm có trong danh sách
    Tôi có một ý tưởng thú vị muốn thử, có lẽ sẽ cần vài giờ trên 8X A100 và dữ liệu kiểu EvolveInstruct, nên chắc tốn hơn 1.000 USD
    Tôi sẽ cố chuẩn bị mã để xem có thể tham gia grant #2 không

    • Hay đấy, chúc MVP suôn sẻ
      Cũng rất cảm ơn ý kiến của bạn, và chúng tôi cũng đang gặp gỡ những người phía Ollama

  • Còn những dự án LLM mã nguồn mở nào khác mà mọi người đang phụ thuộc vào?
    Tôi hỏi để tìm ý tưởng cho các grant recipient trong tương lai
    Đây là một sáng kiến tốt, đợt chọn đầu tiên cũng rất tuyệt, và là một cách sử dụng phí quản lý rất hiệu quả
    Khi cố nghĩ thêm ứng viên, thật khó vì những nơi tôi có thể đã đề xuất như TheBloke, vLLM, oobabooga đều đã có trong danh sách
    Các ứng viên nhận grant trong tương lai mà tôi nghĩ tới là MLC LLM, ExLlama, một fork mã nguồn mở của text-generation-inference, và AutoGPTQ

    • Đề xuất rất hay, cảm ơn bạn

  • Chúc mừng những người liên quan
    Dù biết việc này cũng có một mức động cơ branding/marketing nào đó, tôi vẫn thích việc a16z trong những năm gần đây có vẻ hướng tới giải quyết nỗi đau thực tế hơn là crypto hay sản xuất truyền thông hời hợt
    Hy vọng họ tiếp tục như vậy, và mong có thêm nhiều “thought leader” cùng các quỹ đầu tư mạo hiểm làm theo

    • Không, họ vẫn đang cứu thế giới
      Chỉ khác là giờ họ cứu bằng AI, không phải crypto
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • Tôi đồng ý rằng sáng kiến này giúp giải quyết nỗi đau thực tế
      Tuy nhiên, dù không định bênh vực “Crypto”, tôi nghĩ tiêu chí thế nào là giải quyết nỗi đau thực tế khá chủ quan
      Ví dụ, với nhiều người và công ty, việc tăng tỷ lệ nhấp quảng cáo và giảm phí crypto/gas cũng có thể là nỗi đau và nhu cầu thực tế, chỉ là vấn đề đó không quan trọng với tôi mà thôi

  • Thật đáng kinh ngạc
    Đợt chọn đầu tiên thật sự vững chắc, và một phần lớn của những thử nghiệm hữu cơ đang diễn ra tự nhiên phụ thuộc trực tiếp vào họ

  • Tôi rất vui khi “Eric Hartford: tinh chỉnh LLM không kiểm duyệt” được triển khai
    LLM sẽ trở thành công cụ rất giá trị, và việc kiểm duyệt bị tích hợp sẵn vào các công cụ như vậy là điều khá đáng lo
    Hãy tưởng tượng một tình huống mà nhân danh an toàn và đạo đức, Word ngăn bạn nhập “từ xấu”