LLaMA-rs - LLaMA được triển khai bằng Rust

• Dự án port llama.cpp sang Rust
• Hỗ trợ các phiên bản mô hình f16 hoặc lượng tử hóa 4-bit
• Sử dụng nguyên vẹn thư viện tensor ggml như bản gốc nên đạt hiệu năng tương đương bản gốc

[xguru]

Cũng có một bản triển khai Rust của LLaMA là RLLaMA - Rust+OpenCL+AVX2.

llama.cpp - Suy luận mô hình LLaMA của Facebook bằng C/C++ thuần túy