llamafile - Triển khai và chạy LLM bằng một tệp duy nhất

• Hỗ trợ chạy LLM dễ dàng trên hầu hết máy tính mà không cần cài đặt, chỉ với 1 tệp
• Framework kết hợp llama.cpp và Cosmopolitan Libc
  • Chỉ với 1 bản build có thể chạy trên nhiều HĐH và nhiều kiến trúc CPU khác nhau
• Cung cấp mô hình LLaVA có thể trò chuyện và nhận diện hình ảnh làm ví dụ
  • Chỉ cần tải tệp 4GB llava-v1.5-7b-q4-server.llamafile rồi chạy là xong
  • Với Mac/Linux/BSD, chỉ cần chmod +x rồi chạy ngay
  • Với Windows, chỉ cần thêm .exe vào sau phần mở rộng rồi chạy ngay
  • Khi chạy, trình duyệt sẽ tự động mở và hiển thị giao diện trò chuyện
• Ngoài ra còn cung cấp các llamafile như Mistral-7B-Instruct, WizardCoder-Python-13B, v.v.

[edunga1]

curl --location https://huggingface.co/jartine/llava-v1.5-7B-GGUF/… > llamafile

Chỉ cần một lệnh curl là có thể chạy ngay, thật sự quá ấn tượng..

[cosine20]

Wow, đỉnh thật đó hahaha

[ragingwind]

Có vẻ là có thể chạy thật sự rất dễ.

[xguru]

Đã từng được đăng trên GN⁺, nhưng có lẽ vì phần giới thiệu bằng AI tóm tắt chưa đủ nên không được chú ý, nên tôi tổng hợp lại thêm một lần nữa. Có vẻ là một thử nghiệm khá thú vị.
Có thể triển khai và chạy LLM dưới dạng một tệp duy nhất với "Llamafile"

Mô hình cơ bản là LLaVA: Visual Instruction Tuning

Vào thời điểm công bố thì Cosmopolitan và RedBean trông khá đùa vui, vậy mà giờ lại được dùng theo cách này. Có vẻ sẽ là một trường hợp sử dụng rất tuyệt vời.

• Cosmopolitan v3.0 - "Build Once Anywhere, Run Anywhere C/C++"
• Cosmopolitan libc - Build-Once Run-Anywhere C
• Công bố Cosmopolitan v1.0
• Phát hành Cosmopolitan v2.0
• Redbean - máy chủ web chạy được chỉ với 1 tệp
• Công bố Redbean 2.0