Llama2.c: suy luận Llama 2 trong tệp C thuần túy

 (github.com/karpathy)
1 điểm bởi GN⁺ 2023-07-24 | 1 bình luận | Chia sẻ qua WhatsApp
  • Có thể suy luận mô hình Llama 2 cỡ nhỏ trong C thuần túy.
  • Đoạn mã này cho phép huấn luyện kiến trúc Llama 2 LLM trong PyTorch và lưu trọng số thành tệp nhị phân thô.
  • Sau đó có thể tải các trọng số đó vào tệp C.
  • Tệp C có thể chạy các mô hình khá lớn với tốc độ rất nhanh.
  • Dự án này được tạo như một dự án cuối tuần, không phải là thư viện dùng cho production.
  • Có thể tải xuống mô hình đã được huấn luyện sẵn và chạy trong C.
  • Mã C stream các token thô, và có thể chuyển chúng thành văn bản bằng một wrapper đơn giản.
  • Mã C chạy với tốc độ khoảng 100 token/giây trên M1 MacBook Air.
  • Đầu ra của mã C là văn bản được sinh ra dựa trên mô hình.
  • Dự án này tập trung vào một ứng dụng cụ thể và huấn luyện cùng một kiến trúc từ đầu.
  • Có thể tải xuống bộ dữ liệu nguồn, tiền token hóa trước, rồi huấn luyện mô hình.
  • Có thể điều chỉnh hyperparameter để tạo mô hình tốt hơn.
  • Cũng có thể chạy script suy luận PyTorch để so sánh.
  • Có thể thực hiện kiểm thử chi tiết bằng script kiểm thử được cung cấp.
  • Dự án này cần các tệp model.bin và model.ckpt từ quá trình huấn luyện PyTorch.
  • Trong văn bản có đề cập đến một vài việc cần làm và câu hỏi.
  • Dự án này được phát hành theo giấy phép MIT.

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-07-24
Ý kiến trên Hacker News
  • Andrej đang nhận lương từ OpenAI, đồng thời hỗ trợ Apple, Facebook và phong trào mã nguồn mở.
  • Checkpoint gốc chạy trên MacBook Air M1 nhanh hơn dự kiến.
  • Mô hình 44M mới đang được huấn luyện.
  • Mô hình Llama chạy trong trình duyệt thông qua Emscripten.
  • Các LLM chạy cục bộ là công nghệ thú vị để xây dựng web app cho suy luận cục bộ.
  • Mã nguồn được build gọn gàng bằng WASI SDK và chạy trên runtime Wasm.
  • Có thể xem thêm chi tiết trên Twitter của Andrej.
  • Các yêu cầu bộ nhớ cần thiết để chạy mạng nơ-ron được thảo luận.
  • Có ý kiến cho rằng Llama-2 không thể dùng cho các tác vụ sáng tạo.
  • Ngành công nghiệp có thể sẽ chuyển sang mã nguồn riêng cho từng mô hình được phát hành.
  • Đã có thảo luận về sức hấp dẫn của kiểu “trong một file” hoặc “chỉ header”.
  • Có một bình luận hài hước về việc tạo ra các bài test tốt hơn để bớt kiểu yolo.