Mistral: endpoint AI đầu tiên, có thể truy cập sớm

Ra mắt bản beta dịch vụ nền tảng mới của Mistral AI

• Mistral AI mang đến cho các nhà phát triển các mô hình tạo sinh mở mạnh mẽ cùng những cách để triển khai và tùy biến chúng một cách hiệu quả.
• Hôm nay bắt đầu quyền truy cập beta cho dịch vụ nền tảng đầu tiên, cung cấp ba endpoint chatbot tạo văn bản theo chỉ dẫn văn bản và một endpoint embedding.
• Mỗi endpoint có mức đánh đổi khác nhau giữa hiệu năng và chi phí.

Endpoint tạo sinh

• mistral-tiny và mistral-small sử dụng hai mô hình hiện đã được công bố, còn mistral-medium sử dụng một mô hình nguyên mẫu đang được thử nghiệm trong môi trường triển khai.
• Các mô hình tích hợp những kỹ thuật căn chỉnh hiệu quả nhất như fine-tuning hiệu quả và tối ưu hóa ưu tiên trực tiếp để tạo ra các mô hình mà người dùng có thể dễ dàng kiểm soát và thấy thú vị khi sử dụng.
• Mistral-tiny hiện chỉ hỗ trợ tiếng Anh, Mistral-small hỗ trợ nhiều ngôn ngữ và mã nguồn, còn Mistral-medium được đánh giá là một trong những mô hình dịch vụ hàng đầu.

Endpoint embedding

• Mistral-embed cung cấp một mô hình embedding được thiết kế với trọng tâm là khả năng tìm kiếm, với kích thước embedding là 1024.
• Mô hình embedding này đạt điểm truy xuất 55.26 trên MTEB.

Đặc tả API

• API tuân theo đặc tả của giao diện chatbot phổ biến do một đối thủ đề xuất đầu tiên.
• Cung cấp thư viện client Python và Javascript để truy vấn các endpoint.
• Các endpoint cho phép cung cấp system prompt để người dùng thiết lập mức độ kiểm duyệt cao hơn đối với đầu ra của mô hình.

Mở rộng từ quyền truy cập beta sang khả dụng rộng rãi

• Từ hôm nay, bất kỳ ai cũng có thể đăng ký và sử dụng API, và công suất sẽ được tăng dần theo thời gian.
• Đội ngũ kinh doanh có thể giúp xác định yêu cầu và đẩy nhanh việc cấp quyền truy cập.
• Có thể vẫn tồn tại một số phần chưa ổn định trong quá trình đưa nền tảng đến trạng thái hoàn toàn self-service và ổn định.

Lời cảm ơn

• Cảm ơn NVIDIA đã hỗ trợ tích hợp TensorRT-LLM và Triton, đồng thời cùng hợp tác để xây dựng một mixture-of-experts thưa tương thích với TRT-LLM.

Ý kiến của GN⁺

• Điểm quan trọng nhất của bài viết này là Mistral AI đang cung cấp cho các nhà phát triển các mô hình tạo sinh và mô hình embedding mới, qua đó giúp họ sử dụng khả năng tạo văn bản và embedding tốt hơn.
• Những công nghệ này sẽ thúc đẩy sự phát triển của trí tuệ nhân tạo, và khả năng hỗ trợ nhiều ngôn ngữ cũng như mã nguồn sẽ mở rộng đáng kể tiềm năng ứng dụng trên thị trường toàn cầu.
• Đối với các nhà phát triển, đây là một cơ hội hấp dẫn để xây dựng các dự án và giải pháp sáng tạo thông qua các công cụ và API mới, đồng thời làm tăng kỳ vọng về tương lai của công nghệ.

[GN⁺]

Ý kiến trên Hacker News

• Một công ty nhỏ (khoảng 30 người) được định giá 2 tỷ USD và đã tạo ra mô hình 7B có hiệu năng hàng đầu cùng mô hình MOE 7B*8. Các mô hình này đạt hiệu năng ở mức mô hình 70B nhưng chỉ cần sức suy luận tương đương mô hình 14B. Đây có thể là mối đe dọa lớn hơn đối với OpenAI, và với khoản đầu tư gần đây, họ có thể sớm mở rộng để chịu được tải lưu lượng, đồng thời thu hút các nhà nghiên cứu giỏi nhất đang thất vọng với nhiều vấn đề trong ngành.
• Mô hình Mistral-medium vượt GPT-3.5 và Gemini Pro của Google với cách biệt lớn trên các benchmark. Hiệu năng thực tế cũng được kỳ vọng sẽ ấn tượng như benchmark, và việc bộ lọc an toàn được cung cấp dưới dạng tùy chọn là một lợi thế lớn ngay cả với các ứng dụng an toàn.
• Giá của Mistral đã được công bố. Mistral-medium là 8 USD cho mỗi 1 triệu token đầu ra, còn Mistral-small là 1,94 USD, cho thấy mức giá cạnh tranh khi so với GPT-3.5 và GPT-4.
• Máy chủ TextSynth của Fabrice Bellard đã bắt đầu hỗ trợ mô hình Mistral 7B. Các tính năng như hỗ trợ CUDA, ngữ pháp BNF và lấy mẫu theo lược đồ JSON cũng đã được bổ sung.
• Cạnh tranh là cách thế giới tiến bộ. Thật đáng mừng khi cả các tay chơi nhỏ lẫn lớn đều có những mô hình cạnh tranh. Điều đáng tiếc là khi công bố benchmark, các bài kiểm tra thường được điều chỉnh theo hướng có lợi cho chính họ. Cần có các benchmark mở để so sánh công bằng các mô hình chủ chốt.
• Có quá ít thảo luận về giới hạn kích thước ngữ cảnh của các mô hình này. Kỹ thuật sliding window trên thực tế giới hạn khả năng ghi nhớ vào khoảng 8k token, là không đủ cho nhiều tác vụ. Các mô hình phái sinh từ Llama2 cần được tinh chỉnh không chỉ vì số lượng tham số mà còn vì ngữ cảnh nhỏ được cung cấp.
• "Endpoint có thể truy cập sớm" thực ra có nghĩa là "danh sách chờ để được truy cập sớm vào endpoint". Quyền truy cập API hiện chỉ dành cho người được mời, và họ sẽ thông báo khi có thể đăng ký quyền truy cập vào các mô hình tốt nhất.
• Việc đánh bại ChatGPT-3.5 thực sự là một thành tựu lớn. GPT-3.5 không đủ tốt cho các nhu cầu hằng ngày, nên có rất nhiều kỳ vọng vào GPT-4.
• API của Mistral tuân theo đặc tả của giao diện chat phổ biến do đối thủ đề xuất. Điều này khá thú vị và tôi thích nó.
• Mistral-embed cung cấp mô hình embedding 1024 chiều, được thiết kế với khả năng truy xuất làm trọng tâm. Nó đạt điểm truy xuất 55.26 trên MTEB. Hiện vẫn chưa có thông tin liệu mô hình embedding này có được phát hành dưới dạng mã nguồn mở hay không.