LM Studio Bionic: Tác nhân AI cho các mô hình mở

 (lmstudio.ai)
1 điểm bởi GN⁺ 5 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • LM Studio Bionic là một ứng dụng riêng biệt cho phép xử lý lập trình, nghiên cứu và công việc tài liệu bằng các mô hình mở chạy cục bộ hoặc trên đám mây, giúp người dùng trực tiếp kiểm soát dữ liệu cá nhân và chi phí sử dụng AI
  • Có thể chạy mô hình trực tiếp trên thiết bị hoặc kết nối qua LM Link; với các tác vụ phức tạp, có thể chọn các mô hình mã nguồn mở cỡ lớn trên LM Studio Secure Cloud
  • Bàn phím giọng nói sử dụng Voxtral, mô hình phiên âm thời gian thực đa ngôn ngữ của Mistral AI, để chuyển giọng nói thành văn bản ngay trên thiết bị trong bất kỳ ứng dụng nào
  • Với lập trình, ứng dụng cung cấp khảo sát codebase, chỉnh sửa, gỡ lỗi và inline diff; với công việc tài liệu, ứng dụng cung cấp xử lý sandbox, tìm kiếm web, checkpoint tự động và xem trước ngay trong ứng dụng
  • Áp dụng chính sách Zero Data Retention cho mọi người dùng và không dùng dữ liệu người dùng để huấn luyện; ngay cả các yêu cầu lên đám mây cũng không được lưu lại sau khi xử lý xong

Lập trình, giọng nói và công việc tài liệu

  • Tác nhân Bionic tập trung vào lập trình và công việc tài liệu, đồng thời có thể điều chỉnh chi phí bằng cách chọn mô hình và môi trường tính toán phù hợp cho từng tác vụ

  • Bàn phím giọng nói hoạt động ngay trên thiết bị

    • Dùng mô hình âm thanh cục bộ để phiên âm ý tưởng, prompt và nội dung chỉnh sửa ngay trên thiết bị
    • Khi ra mắt, ứng dụng cung cấp Voxtral, mô hình phiên âm thời gian thực đa ngôn ngữ hiệu năng cao của Mistral AI
    • Khi khởi động bàn phím giọng nói trong bất kỳ ứng dụng nào, kết quả phiên âm sẽ được nhập vào vị trí con trỏ hiện tại

  • Dự án Code để làm việc với codebase cục bộ

    • Khi kết nối một thư mục cục bộ, có thể khảo sát codebase, giải thích mã chưa quen thuộc hoặc chỉnh sửa và gỡ lỗi
    • Có thể xem lại các thay đổi mã bằng inline diff
    • Tìm tệp liên quan và theo dõi hành vi bằng tìm kiếm mã kiểu tác nhân
    • Các mô hình được hỗ trợ gồm GLM 5.2 và Kimi K2.7 Code

  • Dự án Work cho tài liệu, bản trình bày và bảng tính

    • Có thể xử lý tài liệu, PDF, bản trình bày, bảng tính... hoặc tạo tài liệu mới từ đầu
    • Tài liệu được xử lý trong môi trường sandbox để cách ly khỏi phần còn lại của máy tính và các tệp
    • Hỗ trợ sắp xếp thư mục cục bộ, chỉnh sửa tệp, tóm tắt tài liệu và tận dụng thông tin bên ngoài qua tìm kiếm web tích hợp
    • Có thể xem lại hoặc hoàn tác thay đổi bằng checkpoint tự động, đồng thời quản lý cả tài liệu và luồng công việc trong phần xem trước ngay trong ứng dụng
    • Dự kiến sẽ tiếp tục mở rộng phạm vi hỗ trợ để xem trước được nhiều định dạng tệp hơn

Chạy mô hình cục bộ, kết nối và đám mây

  • Trong ứng dụng Bionic, có thể tải về các LLM cục bộ mới nhất để thực hiện từ trò chuyện đơn giản đến các tác vụ tác nhân nâng cao; việc chạy cục bộ dựa trên LM Studio Runtime
  • Có thể chọn một trong ba cách chạy tùy theo tác vụ
    • Chạy mô hình cục bộ trên thiết bị
    • Kết nối mô hình qua LM Link
    • Dùng các mô hình mã nguồn mở hàng đầu quy mô lớn trên LM Studio Secure Cloud
  • Secure Cloud cung cấp các mô hình mở mới nhất mạnh về lập trình, suy luận, gọi công cụ và tác vụ ngữ cảnh dài
    • Các yêu cầu lên đám mây được xử lý tạm thời và không được lưu lại sau khi hoàn tất
    • Áp dụng Zero Data Retention cho toàn bộ dữ liệu người dùng Bionic và cũng không dùng cho huấn luyện

Cài đặt và điều kiện sử dụng

  • LM Studio Bionic là một ứng dụng mới tách biệt với LM Studio hiện có
    • Nếu cần các thiết lập nâng cao ở mức thấp, vẫn có thể tiếp tục dùng LM Studio hiện tại cùng với Bionic
    • Để sử dụng mô hình đám mây, cần tạo tài khoản LM Studio và thiết lập thanh toán
    • Chỉ cần kết nối dự án và chọn mô hình là có thể bắt đầu làm việc với tác nhân Bionic
  • Họ dự định sẽ tiếp tục cải thiện trải nghiệm Bionic dựa trên sự tiến bộ về hiệu năng của các mô hình mở và các trường hợp sử dụng trong dự án thực tế

Bài viết liên quan

1 bình luận

 
GN⁺ 5 giờ trước
Ý kiến trên Hacker News

  • Tôi là Yagil, nhà sáng lập LM Studio. Nếu muốn thử GLM 5.2 / Kimi K2.6 / Kimi Coder K2.7 trong Bionic, hãy gửi tên người dùng lmstudio.ai tới hn-jul16@lmstudio.ai, tôi sẽ cấp credit
    Dùng cho lập trình trong dự án “Code”, còn tạo·chỉnh sửa tài liệu thì dùng trong dự án “Work”. Dự án Work tạo checkpoint tự động mỗi khi agent thực hiện thay đổi, và tôi muốn nghe phản hồi sau khi mọi người dùng thử

    • Đây là một trong những framework thực thi agent rất phù hợp để xem xét quá trình suy luận. Đôi khi đọc phần suy luận còn hữu ích hơn cả câu trả lời cuối cùng, và tôi thích việc nó công khai minh bạch hơn Claude Code hay Codex
      Họ nói đã đàm phán với “nhà cung cấp” về không lưu giữ dữ liệu (ZDR), nhưng tôi muốn biết liệu LM Studio tự host model hay do bên khác host. Nếu là bên ngoài thì cũng muốn biết đó là ai
    • Tôi rất thích LM Studio và tối nay sẽ thử Bionic. Tôi đang ngóng ứng dụng tích hợp Android đến mức gần như ghen tị với người dùng iPhone
    • Tôi muốn biết có thể dùng API key gói coding của z.ai hay không
    • Tôi thực sự thích LM Studio, nhưng hướng đi lần này theo trọng tâm cloud và niềm tin có thể khiến họ đánh mất lòng tin của nhiều người. Các công ty đã lặp đi lặp lại lời hứa “không lưu giữ dữ liệu” và “không huấn luyện bằng dữ liệu người dùng”, nên nghe như lại đang bảo mọi người cứ tin thêm lần nữa
      Tôi cũng không tìm thấy địa chỉ công ty trên website, và nó tạo cảm giác như lại đang xuất khẩu kiểu tiếp cận “cứ tin chúng tôi đi” rất Mỹ mà tôi đã chán ngấy suốt 20 năm qua

  • Đây là framework thực thi agent đầu tiên tôi thử cho model cục bộ, nhưng vì thích LM Studio nên tôi thử Bionic ngay và ấn tượng ban đầu là rất tốt. UI khá giống Codex mà tôi dùng thường xuyên nên thấy quen và dễ bắt đầu; tôi trỏ vào thư viện model sẵn có của LM Studio để chạy Qwen3.6 35B và nhận được kết quả đúng như mong đợi
    Tuy vậy vẫn có chỗ cần cải thiện. Màn hình mặc định chỉ có tên project và không hiển thị rõ thư mục làm việc hiện tại như Codex. Khi nhấn Enter thì model được nạp nhưng hiện “Working” thay vì “Loading model”, và tôi cũng không tìm ra cách nạp trước khi gửi yêu cầu, hay hạ model xuống như nút eject của LM Studio mà không phải thoát ứng dụng. Khi chỉ định thư mục “GitHub & Projects” thì nó còn tạo thêm một thư mục mới trùng tên nữa

  • Khi Apple có model cục bộ và framework thực thi đủ tốt, có lẽ phần lớn người dùng phổ thông sẽ dùng nó. Tôi tự hỏi liệu cuối cùng LLM có trở thành một giao diện tính toán khác hay không

    • System Model của Apple khá tốt, nhưng độ dài ngữ cảnh bị giới hạn ở 4K. Nó ổn cho các tiện ích Python nhỏ xử lý ít dữ liệu, nhưng nhìn chung vẫn là một hạn chế đáng tiếc
      Ngoài ra, Siri trong bản beta iOS mới nhất tốt đến mức đáng ngạc nhiên. Tôi hỏi nó dùng model nào thì nó trả lời rằng với bài toán khó sẽ dùng Gemini, sau đó là model Apple bảo mật trên cloud, và cuối cùng là model Apple cục bộ
    • Tôi nghĩ với phần lớn tác vụ của người dùng phổ thông, một LLM ở mức thời ChatGPT 3.5 là đủ. Nếu bổ sung thêm gọi công cụ và nhúng loại model đó vào thiết bị để ưu tiên dùng trước, thì người dùng AI có thể tách thành nhóm không muốn trả tiền và nhóm sẵn sàng chi mạnh cho hiệu năng model tuyến đầu
    • Câu trả lời phụ thuộc vào việc tiến bộ của model có chững lại đủ để model cỡ thiết bị sánh được với hiệu năng của model tuyến đầu hay không. Nếu có thì LLM sẽ trở thành giao diện tính toán mới, còn nếu không thì sẽ khó
    • Máy nơ-ron ngay từ đầu đã được định sẵn là một mô hình tính toán thay thế cho máy von Neumann. Nếu không có Minsky thì có lẽ nó đã đạt mức hữu dụng sớm hơn, nên tôi không hiểu vì sao lại nói như thể đây chỉ là một thay đổi nhỏ
    • Trong Computing 1.0, con người phải học ngôn ngữ của máy tính để tương tác trọn vẹn với nó; còn trong Computing 2.0, máy tính đã học ngôn ngữ của con người

  • Tôi muốn biết lý do chọn cái này thay vì các framework thực thi agent khác. Đặc biệt, nó có vẻ mạnh ở gói cho doanh nghiệp muốn kiểm soát việc dùng các model cloud tuyến đầu vì chi phí và bảo mật dữ liệu

    • Không ngờ là lại có khá ít framework thực thi không phụ thuộc model mà không bị ráp nối cẩu thả bằng Python hay JavaScript. Những sản phẩm tránh được các hành vi ngớ ngẩn như làm phình context hoặc nén quá mức còn hiếm hơn nữa
      Tôi ngại chạy các agent Python·JavaScript có thể đã được làm bằng vibe coding vì rủi ro bảo mật và chuỗi cung ứng là quá lớn

  • Tôi thấy khá vui khi thử xem model cục bộ nào trở thành agent tốt hơn, nhưng vẫn có vài hạn chế
    Nó bị cố định trong một thư mục nên không thể truy cập toàn hệ thống, cũng không có tìm kiếm web cục bộ, dù có thể bù bằng ddg hoặc MCP cục bộ. Không có SSH nên không thể cho nó đăng nhập server để làm việc, và quá trình nạp model cũng không được hiển thị nên cần có thanh tiến trình hoặc phần trăm. Khi đưa tài liệu vào thư mục Work, tôi cũng muốn biết ngoài cách thêm bằng dấu “+” thì có hỗ trợ kéo thả hay không. Bình thường ở môi trường cục bộ tôi dùng opencode cùng LM Studio, nên rất mong chờ sự phát triển sắp tới

  • Họ nói đây là ứng dụng tách biệt với LM Studio thông thường, nhưng tôi không tìm ra cách tải xuống

  • Tôi rất mừng khi LM Studio mở rộng sang quy trình làm việc của agent. Trong lúc các công cụ model cục bộ ngày càng tốt hơn, các lựa chọn mã nguồn mở vẫn rất có giá trị với những nhà phát triển muốn giữ dữ liệu riêng tư

  • Tôi muốn LM Studio hỗ trợ phần cứng AMD tốt hơn. Thật sự cần một giải pháp kiểu thành phẩm có thể chạy ngay trên Radeon mà không phải chỉnh cấu hình riêng

  • Một trong những lý do tôi chuyển từ Ollama sang LM Studio là mô hình kinh doanh, nên giờ việc họ chuyển sang hướng “dùng các model mã nguồn mở tuyến đầu lớn nhất thông qua LM Studio Secure Cloud” khiến tôi lo ngại

    • Unsloth Studio mới là mã nguồn mở thực sự, và ngay cả khi nhìn vào các model lượng tử hóa, tôi cũng tin Unsloth hơn LM Studio nên muốn khuyên dùng nó
    • Nói công bằng thì Ollama cũng đã thúc đẩy dịch vụ cloud của riêng họ mạnh mẽ tương tự
      Một số model lớn mới như Minimax, GLM, Kimi chỉ phát hành bản cloud mà không có bản tải chính thức ngay cả sau nhiều tháng
    • Ollama vốn đã gây tranh cãi từ đầu, còn LM Studio thì theo tôi biết là chưa từng như vậy. Vì thế tôi vẫn có niềm tin lớn hơn một chút rằng LM Studio sẽ xử lý lần chuyển hướng này tương đối êm

  • Cả ứng dụng LM Studio lẫn ứng dụng LM Studio Bionic mới đều là mã nguồn đóng. Nhiều người dường như không biết điều này nên cần nhắc lại

    • Unsloth Studio là mã nguồn mở và do Unsloth vận hành, đơn vị tạo ra các model lượng tử hóa hàng đầu ngành, nên tôi khuyên nên chuyển sang đó
    • Việc là mã nguồn đóng là lý do lớn nhất khiến tôi không dùng LM Studio thường xuyên hơn. Sau khi chỉ thử model mới hoặc bản lượng tử hóa xong, tôi tự host bằng llama.cpp
      LM Studio không hỗ trợ các tính năng như đầu vào âm thanh, và đôi khi còn có bug mà llama.cpp thuần không có, nên với một số mục đích nó thậm chí có thể là bước lùi
    • Đã có rất nhiều hệ thống agent mã nguồn mở, và nếu thích UI thì OpenCode cũng có ứng dụng desktop beta
      Tôi đặc biệt không thấy cần các công cụ phát triển mã nguồn đóng, vốn sau này có thể bị thu phí và hạn chế quyền truy cập
    • Tôi muốn biết họ dùng stack công nghệ gì, và liệu đây có phải ứng dụng native hay không. Với tư cách một ứng dụng desktop, nó được thiết kế khá hợp mục đích
    • Bản thân việc là mã nguồn đóng có thực sự là điểm gây tranh cãi hay không?