Brave Leo dùng ‘Mixtral 8x7B’ làm mặc định
(brave.com)- Từ trình duyệt desktop Brave v1.62, LLM mặc định của trợ lý trình duyệt AI chú trọng quyền riêng tư Leo được đổi sang Mixtral 8x7B
- Mixtral 8x7B là LLM mã nguồn mở do Mistral AI công bố vào tháng 12; nhờ tốc độ, hiệu năng và tính chất mô hình mở phù hợp với định hướng sản phẩm của Brave, nó được tích hợp vào Leo
- Brave giải thích rằng Mixtral 8x7B vượt ChatGPT 3.5, Claude Instant, Llama 2... theo LMSYS Chatbot Arena Leaderboard, đồng thời cho thấy cải thiện trong việc giảm ảo giác và thiên lệch trên BBQ benchmark
- Cả Leo miễn phí và gói Premium 15 USD/tháng đều cung cấp Mixtral 8x7B làm mặc định, nhưng bản miễn phí có giới hạn sử dụng nghiêm ngặt hơn, còn Premium cung cấp giới hạn cao hơn
- Leo ẩn danh các yêu cầu qua reverse proxy, không lưu hội thoại hay dùng để huấn luyện mô hình, và có thể dùng từ thanh địa chỉ hoặc sidebar mà không cần ứng dụng riêng
Mô hình mặc định của Leo được đổi sang Mixtral 8x7B
- Cùng với bản cập nhật trình duyệt desktop v1.62, Brave đã thay thế mô hình ngôn ngữ lớn mặc định của Leo bằng Mixtral 8x7B
- Leo là trợ lý trình duyệt AI chú trọng quyền riêng tư do Brave cung cấp, cho phép sử dụng các tính năng AI ngay trong trình duyệt
- Ngoài thay đổi mô hình, bản cập nhật này còn bao gồm onboarding rõ ràng hơn, kiểm soát ngữ cảnh, định dạng đầu vào/phản hồi và các cải tiến UI tổng thể
Lý do chọn Mixtral 8x7B
- Mixtral 8x7B là LLM mã nguồn mở được Mistral AI công bố vào tháng 12, và nhanh chóng được cộng đồng lập trình viên sử dụng nhiều hơn nhờ tốc độ và hiệu năng
- Theo LMSYS Chatbot Arena Leaderboard, mô hình này cho thấy hiệu năng vượt ChatGPT 3.5, Claude Instant, Llama 2...
- Theo BBQ benchmark, mô hình cũng có cải thiện về mặt giảm ảo giác và thiên lệch
- Các tính năng chính gồm:
- Xử lý ngữ cảnh lớn hơn
- Tương tác bằng tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Ý, tiếng Tây Ban Nha
- Sinh mã
Việc sử dụng Mixtral trong sản phẩm Brave
- Brave hiện đã dùng Mixtral trong Code LLM, tính năng truy vấn liên quan đến lập trình của Brave Search
- Hiệu năng và tính chất mã nguồn mở của Mixtral phù hợp với định hướng hỗ trợ mô hình mở và cộng đồng mã nguồn mở mà Brave theo đuổi
- Brian Bondy, CTO kiêm đồng sáng lập Brave, cho biết Leo đã được hàng chục nghìn người dùng miễn phí và thuê bao trả phí chấp nhận sử dụng, và kỳ vọng việc bổ sung Mixtral sẽ giúp mức độ chấp nhận tăng hơn nữa
- Arthur Mensch, CEO Mistral AI, đánh giá tích cực việc Mixtral được dùng trong CodeLLM của Brave Search và Brave Leo
Các lựa chọn mô hình miễn phí và Premium
- Leo cho phép chọn nhiều mô hình tùy theo nhu cầu và ngân sách
- Mixtral 8x7B được cung cấp làm LLM mặc định cho cả bản miễn phí lẫn Premium
- Cả hai gói đều hỗ trợ Claude Instant của Anthropic và Llama 2 13B của Meta
- Điều kiện sử dụng của Leo miễn phí như sau:
- Mixtral 8x7B và Claude Instant có giới hạn sử dụng nghiêm ngặt
- Llama 2 13B có giới hạn sử dụng cao hơn
- Khi đạt giới hạn sử dụng Mixtral, người dùng có thể quay lại trải nghiệm Leo trước đây là Llama 2 để tiếp tục sử dụng AI
- Leo Premium có giá 15 USD/tháng, cung cấp Mixtral 8x7B, Claude Instant và Llama 2 13B với giới hạn sử dụng cao hơn
Cách bảo vệ quyền riêng tư
- Chat của Leo được thiết kế trên tiền đề riêng tư, ẩn danh và bảo mật
- Chat không được ghi lại, không được dùng để huấn luyện mô hình, và không cần tài khoản hay đăng nhập để sử dụng
- Các cơ chế bảo vệ quyền riêng tư gồm:
- Reverse proxy: xử lý proxy tất cả yêu cầu qua máy chủ ẩn danh hóa, để không thể liên kết yêu cầu với địa chỉ người dùng
- Hủy ngay sau khi phản hồi: phản hồi của Leo bị hủy ngay sau khi được tạo, và Brave không lưu hội thoại trên máy chủ
- Không thu thập định danh: không thu thập các định danh như địa chỉ IP có thể liên kết với người dùng
- Nhà cung cấp bên thứ ba không lưu trữ: mô hình AI hoặc nhà cung cấp mô hình bên thứ ba không lưu giữ dữ liệu cá nhân
- Không cần tài khoản: có thể dùng Leo mà không cần tạo tài khoản Brave
- Token thuê bao không thể liên kết: khi đăng ký Leo Premium, thuê bao được xác minh bằng token không thể liên kết thông tin mua hàng với việc sử dụng sản phẩm
Cách dùng và phạm vi cung cấp
- Leo được tích hợp sẵn trong trình duyệt, có thể dùng mà không cần ứng dụng hoặc extension riêng
- Người dùng Brave desktop có thể nhập câu hỏi vào thanh địa chỉ rồi nhấp “Ask Leo”, hoặc mở Leo từ Brave Sidebar
- Người dùng truy cập tính năng AI qua sidebar dạng chat bên cạnh trang web hoặc qua thanh địa chỉ
- Trong ngữ cảnh trang, Leo hỗ trợ các tác vụ sau:
- Tóm tắt theo thời gian thực trang web hoặc video
- Trả lời câu hỏi về nội dung
- Tạo nội dung mới
- Dịch trang
- Phân tích trang
- Viết lại câu
- Hỗ trợ viết mã
- Leo đã được cung cấp cho người dùng Brave desktop từ tháng 11, với phiên bản tương ứng là 1.60
- Leo cho Android và iOS sẽ sớm được cung cấp
1 bình luận
Các ý kiến trên Hacker News
Để chạy Mixtral 8x7B cục bộ, có thể dùng llama.cpp, và dùng https://huggingface.co/TheBloke/Nous-Hermes-2-Mixtral-8x7B-S... cùng các thư viện/giao diện hỗ trợ như text-generation-webui
Ngay cả phiên bản lượng tử hóa 2-bit nhỏ nhất cũng cần 20GB RAM, và có thể offload sang VRAM của một GPU 4090 khá ổn
Phiên bản lượng tử hóa 4-bit là model lớn nhất vừa khít trong hệ thống 32GB, dùng khoảng 29–31GB
6-bit là 41GB, 8-bit là 52GB nên cần hệ thống 64GB; nếu muốn offload các model có độ chính xác cao hơn vào VRAM thì cần nhiều GPU có bộ nhớ chia sẻ
Tôi đã dùng các model 7B và 13B, nhưng chưa thử nghiệm các model này hay những model lớn khác
Tôi đã dùng dolphin mixtral 4-bit trên MacBook M3 RAM 36GB và suy luận rất nhanh
Dễ chia model lớn hơn VRAM để chạy trên GPU/CPU
Mixtral hỗ trợ 32.000 token, nên phần này có thể chiếm một tỷ trọng khá lớn trong bộ nhớ sử dụng
Brave đáng được khen vì tính năng này và các tính năng bảo vệ quyền riêng tư khác
Với cơ chế token đăng ký không thể liên kết, khi đăng ký Leo Premium, bạn được cấp token để xác minh gói đăng ký khi dùng Leo, và Brave không thể liên kết thông tin thanh toán với lịch sử sử dụng sản phẩm
Email dùng để tạo tài khoản cũng không được liên kết với việc sử dụng Leo hằng ngày, đây là một cách dùng thông tin xác thực riêng tư khá độc đáo
Không biết có ai biết chính xác cơ chế này hoạt động thế nào mà không dùng khóa ngoại không
Có vẻ tôi đã bỏ lỡ lần công bố Leo đầu tiên, nhưng thấy thú vị và thích thiết kế chú trọng quyền riêng tư
Việc không lưu lịch sử chat đúng là thứ tôi muốn
Cũng giống như không có cách nào xác minh tuyên bố không lưu log của các dịch vụ VPN
https://www.spacebar.news/p/stop-using-brave-browser
Tôi tò mò nhà cung cấp API tốt cho Mixtral là ai
Tôi chỉ biết OctoAI, trông có vẻ ổn, và cũng muốn biết các lựa chọn thay thế
Không rõ giá, nhưng có vẻ chỉ cần gửi email tới api@groq.com
Giá cũng giống giá của chính nhà cung cấp
Tuy nhiên, với các model OpenAI/Anthropic, họ phải bật lọc đầu vào/đầu ra do yêu cầu của các công ty đó
Rất nhanh và chỉ với cấu hình mặc định đã xử lý đồng thời 10 tác vụ
Together.ai cũng có vẻ ổn trong thử nghiệm ban đầu, nhưng tôi chưa dùng ở quy mô lớn
Tôi cũng chạy phiên bản lượng tử hóa 3-bit của mixtral-8-7b trên hệ thống M2 Pro RAM 32GB, khá nhanh
Có nhiều lựa chọn là điều tốt
Tuần vừa rồi tôi đã chạy các phiên bản trên poe và chat.groq.com
Tốt hơn llama 70b rất nhiều
Việc cho phép truy vấn LLM ngay từ thanh địa chỉ khá thú vị
Tôi tò mò liệu sau này họ có tạo heuristic để quyết định gửi truy vấn thẳng tới LLM hay dùng nhà cung cấp tìm kiếm mặc định không
Sau khi dùng gpt4 rồi chuyển sang mistral, cảm giác như đang nhìn màn hình Retina rồi quay lại màn hình độ phân giải thấp
Cứ liên tục nghĩ “nhưng nếu là GPT4 thì nó làm được việc này”
Tôi đang chạy Mixtral cục bộ bằng ollama
Không biết có tiện ích Chrome nào ổn để tóm tắt trang bằng AI không
Tôi đã thử vài kết quả hàng đầu trên Google Search, chúng chạy tốt nhưng quá cồng kềnh vì có quá nhiều tính năng không cần thiết
https://kagi.com/summarizer/index.html
https://help.kagi.com/kagi/api/summarizer.html
Hoặc dùng tiện ích trình duyệt Kagi Search (Chrome/Firefox), bạn có thể dùng ngay model Muriel cao cấp nhất trong tiện ích