LM Studio - Công cụ giúp chạy LLM cục bộ một cách dễ dàng

• Hỗ trợ tìm, tải xuống và chạy LLM ngoại tuyến trên máy cục bộ
  • Các mô hình như LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X
• macOS / Windows / Linux (beta)
• Có thể sử dụng mô hình thông qua UI chat tích hợp sẵn hoặc máy chủ cục bộ tương thích OpenAI
• Hỗ trợ các mô hình Llama, MPT, StarCoder dựa trên ggml từ HuggingFace
  • (Ví dụ: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT, v.v.).
• Cấu hình tối thiểu và yêu cầu hệ thống
  • Apple Silicon Mac (M1/M2/M3) macOS 13.6 trở lên
  • PC Windows / Linux (bộ xử lý hỗ trợ AVX2)
  • Khuyến nghị RAM từ 16GB trở lên. Trên PC khuyến nghị VRAM từ 6GB trở lên
  • Hỗ trợ GPU NVIDIA/AMD

Quyền riêng tư và cách sử dụng của LM Studio

• LM Studio không thu thập hoặc theo dõi dữ liệu của người dùng, và toàn bộ dữ liệu đều được lưu cục bộ trên thiết bị của người dùng
• Miễn phí cho mục đích sử dụng cá nhân; nếu muốn dùng cho công việc thì cần liên hệ với nhóm phát triển

Ý kiến của GN⁺

• LM Studio là một giải pháp hấp dẫn đối với người dùng coi trọng quyền riêng tư, và khả năng chạy LLM ngoại tuyến là điểm quan trọng nhất.
• Việc dữ liệu của người dùng chỉ được lưu cục bộ, hỗ trợ nhiều mô hình khác nhau, và được cung cấp miễn phí cho người dùng cá nhân là những điểm đáng chú ý.
• Yêu cầu phần cứng tương đối cao nên phù hợp với người dùng có thiết bị mới, và việc hướng đến cả nhu cầu sử dụng trong công việc là một tín hiệu tích cực.

[GN⁺]

Ý kiến Hacker News

• Chia sẻ liên kết cho thấy có thể thực hiện cùng công việc với mã nguồn mở bằng cách dùng Ollama và UI.
• Đánh giá tích cực về LM Studio và các đặc điểm của nó:
  • Runtime mô hình cục bộ
  • Danh mục mô hình
  • UI giúp trò chuyện với mô hình dễ dàng
  • API tương thích OpenAI
  • Bao gồm plugin như RAG (dùng ChromaDB)
  • Ở vị thế tốt để tận dụng các tính năng mới của hệ sinh thái OS
  • Đáng tiếc là bản thân LM Studio không phải mã nguồn mở
• Muốn thử các mô hình không bị kiểm duyệt. Đã tìm thấy mô hình "TheBloke/Luna-AI-Llama2-Uncensored-GGML" và chỉ tải tệp đầu tiên để kiểm tra xem có hoạt động không. Thắc mắc liệu có cần tải cả các tệp còn lại hay không, và liệu mô hình có thực sự không bị kiểm duyệt với một số câu hỏi nhạy cảm cụ thể hay không.
• Câu hỏi nhập môn về LLM: nếu đưa cả series "Chúa tể những chiếc nhẫn" vào LLM thì sẽ xảy ra chuyện gì, liệu có tồn tại LLM cơ bản kiểu "ngây thơ" hay không, và có thể từ đó tạo ra một chuyên gia về Middle-earth hay không.
• Một bộ yêu cầu tuyển dụng thú vị cho vai trò kỹ sư cấp cao: cần hiểu biết sâu về máy tính và phần mềm, khả năng viết thuật toán và chương trình, v.v.; nhưng khó có thể nghiêm túc với những yêu cầu này.
• Chia sẻ liên kết giới thiệu một UI đơn giản do cá nhân tự làm nhằm đơn giản hóa các thiết lập phức tạp.
• Tò mò về nhóm người dùng tiềm năng của phần mềm LLM và muốn xem thông tin hoặc suy đoán về phân khúc thị trường. Dù thiết lập phức tạp, vẫn thấy giao diện này và giá trị của việc trò chuyện/quản lý mô hình là hữu ích.
• Đề xuất các điểm cần cải thiện trong UI của ứng dụng:
  • Cần cải thiện trạng thái mặc định của ô chat
  • Không rõ cách thiết lập tăng tốc CUDA trước khi tải mô hình
  • Một số mô hình HuggingFace không được liệt kê và không nêu rõ lý do
  • Phần accordion trong giao diện chỉ phản hồi cuộn bằng bánh xe chuột
  • Tab server rất hữu ích cho việc debug ban đầu
• Hỏi về các vấn đề có thể phát sinh khi dùng nhiều mô hình LLM khác nhau (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna) như 50% ảo giác, gợi ý mã API không tồn tại, tái tạo các câu trả lời StackOverflow đã lỗi thời, v.v.; đồng thời mong được chia sẻ các trường hợp sử dụng thực tế của những mô hình này.
• Sau khi cài và chạy LM Studio, CPU tăng lên tới 30% và quạt laptop kêu to hơn. Sau khi tắt tiến trình LM Studio rồi mở lại, mức sử dụng nền giảm xuống 5%.