GGML·llama.cpp gia nhập Hugging Face

Có tin Hugging Face đã tiếp nhận Georgi Gerganov, nhà phát triển chủ chốt của llama.cpp và engine GGML.

Nội dung chính: llama.cpp (engine tiêu chuẩn thực tế để chạy LLM cục bộ) và công nghệ nền tảng GGML nay được đưa vào hệ sinh thái của Hugging Face, qua đó hợp nhất hai trụ cột của hệ sinh thái AI cục bộ mã nguồn mở.
llama.cpp vẫn sẽ giữ 100% mã nguồn mở và được duy trì với định hướng ưu tiên hiệu năng.

Các thay đổi dự kiến:

• Tự động chuyển đổi và hỗ trợ model định dạng GGUF ở mức gần như một cú nhấp trong thư viện transformers
• Khi có model mới xuất hiện, có thể chạy cục bộ với hiệu năng cao ngay mà không cần tối ưu thủ công
• Định hướng cải thiện mạnh mẽ các công cụ AI cục bộ và môi trường người dùng

Ý nghĩa: Hạ tầng để cá nhân và doanh nghiệp tự do chạy LLM chất lượng cao trên máy cục bộ mà không phụ thuộc vào máy chủ trung tâm được củng cố mạnh hơn nữa.