- Magistral là mô hình suy luận (reasoning) đầu tiên do Mistral AI công bố, tập trung vào chuyên biệt theo miền, tính minh bạch và suy luận đa ngôn ngữ
- Ra mắt với hai phiên bản: Magistral Small (24B tham số) mã nguồn mở và Magistral Medium phiên bản doanh nghiệp
- Cung cấp suy luận đa ngôn ngữ dựa trên Chain of Thought, trình bày minh bạch quá trình logic từng bước bằng ngôn ngữ của người dùng
- Trên AIME2024, Magistral Medium đạt 73.6% (cao nhất 90%), Small đạt 70.7% (cao nhất 83.3%)
- Hỗ trợ triển khai logic chính xác theo từng bước cùng tốc độ phản hồi nhanh gấp 10 lần cho nhiều ngôn ngữ và ngành nghề như pháp lý, tài chính, y tế là các lĩnh vực có quản lý chặt chẽ, kỹ thuật dữ liệu, phát triển phần mềm, nội dung sáng tạo
Magistral — Mistral AI công bố mô hình suy luận đầu tiên
- Magistral là mô hình reasoning tập trung vào khả năng giải quyết vấn đề thực tế và cải thiện dựa trên phản hồi
- Magistral Small là phiên bản mã nguồn mở 24B tham số, còn Magistral Medium là phiên bản doanh nghiệp mạnh hơn, được phát hành song song
- Chỉ số hiệu năng:
- Magistral Medium: AIME2024 73.6%, đạt 90% theo tiêu chí majority vote
- Magistral Small: lần lượt 70.7% và 83.3%
- Áp dụng lập luận Chain of Thought dựa trên ngôn ngữ và hệ chữ viết toàn cầu, cho phép triển khai tư duy ở mức gần như tiếng mẹ đẻ
- Phù hợp với nhiều công việc như tính toán có cấu trúc, logic lập trình, cây quyết định, hệ thống dựa trên luật
- Với tính năng Think mode và Flash Answers của Le Chat, tốc độ phản hồi được cải thiện gấp 10 lần so với đối thủ
- Bài báo chính thức có đánh giá toàn diện về thuật toán, hạ tầng huấn luyện, kỹ thuật học tăng cường và các insight từ quá trình huấn luyện
Chi tiết mô hình và công nghệ
- Quy trình suy luận minh bạch:
- Magistral được tối ưu cho logic nhiều bước, cho phép người dùng xem và theo dõi quá trình suy luận bằng chính ngôn ngữ của mình
- Khác với các mô hình thông thường, khả năng diễn giải và kiểm chứng được tăng cường
- Hướng tới mục tiêu cập nhật mô hình liên tục và cải tiến nhanh chóng
- Suy luận đa ngôn ngữ: duy trì độ chính xác và tính logic cao trong tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức, tiếng Ý, tiếng Ả Rập, tiếng Nga, tiếng Trung và nhiều ngôn ngữ khác
- Tốc độ phản hồi:
- Magistral Medium hỗ trợ suy luận và phản hồi theo thời gian thực với tốc độ xử lý token cao gấp 10 lần đối thủ thông qua tính năng Flash Answers của Le Chat
- Trình diễn sự vượt trội về tốc độ so với các mô hình cạnh tranh chính như ChatGPT
Mã nguồn mở và sự tham gia của cộng đồng
- Magistral Small được phát hành theo giấy phép Apache 2.0
- Người dùng có thể tự phân tích, chỉnh sửa và tái cấu trúc kiến trúc cũng như phương thức suy luận
- Các mô hình mã nguồn mở trước đây đã được dùng trong những dự án nghiên cứu đổi mới như ether0, DeepHermes 3
Các trường hợp ứng dụng rộng rãi
- Magistral được tối ưu cho các lĩnh vực mà suy luận chính xác theo từng bước và tính minh bạch là quan trọng, như pháp lý, tài chính, phát triển phần mềm, kể chuyện
-
Chiến lược và vận hành doanh nghiệp
- Có thể thực hiện lập kế hoạch chiến lược, đánh giá rủi ro, ra quyết định dựa trên dữ liệu, tính toán nghiệm tối ưu dưới các ràng buộc phức tạp
-
Các ngành được quản lý và khu vực công
- Chuyên gia trong lĩnh vực pháp lý, tài chính, y tế và chính phủ có thể theo dõi đường đi suy luận logic và đảm bảo khả năng kiểm toán
- Hỗ trợ đáp ứng khả năng kiểm toán của kết quả và tuân thủ quy định
-
Hệ thống, phần mềm và kỹ thuật dữ liệu
- Cải thiện chất lượng hỗ trợ cho lập trình, thiết kế dự án, kiến trúc backend, kỹ thuật dữ liệu so với LLM không suy luận
- Hiệu quả với các tác vụ nhiều bước như liên kết công cụ bên ngoài, tích hợp API
-
Tạo nội dung và giao tiếp
- Magistral cũng cho kết quả nổi bật trong viết sáng tạo, kể chuyện
- Không chỉ tạo văn bản nhất quán mà còn có thể tạo ra những ý tưởng độc đáo và táo bạo
Cách sử dụng và kênh triển khai
- Phiên bản Small có thể tải xuống và tự triển khai
- Phiên bản Medium có thể sử dụng ngay trên Le Chat (web), API, Amazon SageMaker
- Sắp tới sẽ được hỗ trợ thêm trên IBM WatsonX, Azure AI, Google Cloud Marketplace
- Với nhu cầu tùy biến cho doanh nghiệp, triển khai on-premise, cần liên hệ riêng
1 bình luận
Ý kiến Hacker News
ollama run hf.co/unsloth/Magistral-Small-2506-GGUF:UD-Q4_K_XL, và với llama.cpp thì nên nhớ dùng các tùy chọn như--jinja,--temp 0.7,--top-p 0.95. Cũng khuyến nghị tăng độ dài ngữ cảnh của Ollama lên trên 8192, và có thể xem thêm hướng dẫn trong tài liệu chính thứcjinjathì llama.cpp mặc định dùng gì