Mistral AI công bố quyền truy cập sớm cho endpoint AI đầu tiên

 (mistral.ai)
2 điểm bởi GN⁺ 2023-12-12 | 1 bình luận | Chia sẻ qua WhatsApp
  • Mistral AI đã mở bản beta la plateforme, cho phép nhà phát triển triển khai và tùy chỉnh các mô hình sinh mở trong môi trường production
  • Cấu hình ban đầu gồm 3 endpoint chat xử lý chỉ dẫn văn bản và 1 endpoint embedding, với các mức đánh đổi khác nhau giữa hiệu năng và giá
  • mistral-tiny và mistral-small dựa trên các mô hình mở công khai, còn mistral-medium cung cấp một mô hình nguyên mẫu đang được thử nghiệm trong môi trường triển khai
  • API tuân theo đặc tả giao diện chat được sử dụng rộng rãi, hỗ trợ client Python/JavaScript và điều chỉnh đầu ra bằng system prompt
  • Bất kỳ ai cũng có thể đăng ký để dùng API, nhưng dung lượng sẽ được mở rộng dần và có thể vẫn còn những điểm chưa hoàn thiện trước khi trở thành dịch vụ hoàn toàn tự phục vụ

Bản beta la plateforme và cấu hình endpoint

  • Mistral AI cung cấp các mô hình sinh mở cho nhà phát triển, đồng thời cung cấp cách triển khai và tùy chỉnh cho production
  • Dịch vụ nền tảng đầu tiên đã được công bố dưới dạng beta, với cấu hình khởi đầu đơn giản
    • 3 endpoint chat để sinh nội dung dựa trên chỉ dẫn văn bản
    • 1 endpoint embedding hướng tới ứng dụng tìm kiếm
    • Mỗi endpoint có mức đánh đổi hiệu năng/giá khác nhau

  • Endpoint sinh nội dung

    • mistral-tiny
      • Là endpoint tiết kiệm chi phí nhất, hiện cung cấp Mistral 7B Instruct v0.2
      • Chỉ hỗ trợ tiếng Anh và có điểm MT-Bench là 7.6
      • Có thể tải mô hình đã tinh chỉnh theo chỉ dẫn trên Hugging Face
    • mistral-small
      • Cung cấp mô hình mới nhất Mixtral 8x7B
      • Xử lý tiếng Anh, tiếng Pháp, tiếng Ý, tiếng Đức, tiếng Tây Ban Nha và mã nguồn
      • Điểm MT-Bench là 8.3
      • Có thể xem chi tiết mô hình trong bài viết blog về Mixtral
    • mistral-medium
      • Là endpoint chất lượng cao nhất, hiện cung cấp một mô hình nguyên mẫu đang được thử nghiệm trong môi trường triển khai
      • Theo các benchmark tiêu chuẩn, đây là một trong những mô hình hàng đầu đang được cung cấp hiện nay
      • Xử lý tiếng Anh, tiếng Pháp, tiếng Ý, tiếng Đức, tiếng Tây Ban Nha và mã nguồn
      • Điểm MT-Bench là 8.6

  • Căn chỉnh mô hình và embedding

    • Để giúp các mô hình làm theo chỉ dẫn dễ kiểm soát và dễ sử dụng hơn, Mistral AI kết hợp fine-tuning hiệu quả với tối ưu hóa ưu tiên trực tiếp
    • Mô hình được tiền huấn luyện bằng dữ liệu trích xuất từ web mở, sau đó trải qua fine-tuning theo chỉ dẫn dựa trên chú thích
    • mistral-embed là endpoint embedding cung cấp mô hình embedding 1024 chiều
    • Mô hình embedding được thiết kế với mục tiêu phục vụ chức năng tìm kiếm và đạt điểm tìm kiếm MTEB 55.26

Truy cập API và vận hành beta

  • API tuân theo đặc tả giao diện chat được sử dụng rộng rãi
  • Có thể gọi các endpoint bằng thư viện client Python và JavaScript
  • Nếu việc kiểm soát đầu ra trong ứng dụng là quan trọng, có thể dùng system prompt để điều chỉnh phản hồi của mô hình mạnh hơn
  • Bất kỳ ai cũng có thể đăng ký để sử dụng API, và Mistral AI đang mở rộng dung lượng dần dần
  • Đội ngũ kinh doanh có thể hỗ trợ xác nhận nhu cầu của người dùng và đẩy nhanh quyền truy cập
  • Trước khi nền tảng ổn định thành trạng thái hoàn toàn tự phục vụ, có thể vẫn còn những điểm chưa hoàn thiện
  • NVIDIA hỗ trợ tích hợp TensorRT-LLM và Triton, cũng như công việc tương thích TRT-LLM cho sparse mixture of experts

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-12-12
Ý kiến trên Hacker News

  • Thật ngạc nhiên là tin này không được ghim trên đầu HN suốt cả ngày
    Một công ty nhỏ có vẻ chỉ khoảng 30 người đã được định giá 2 tỷ USD, và tung ra mô hình MoE 7B×8 có hiệu năng ngang cấp 70B trong khi chi phí suy luận chỉ ở mức 14B
    Có vẻ đây thậm chí có thể là mối đe dọa tiềm tàng lớn hơn đối với OpenAI so với Google hay Anthropic. Nhờ khoản đầu tư lớn gần đây, họ có thể mở rộng lên quy mô lưu lượng hợp lý trong thời gian gần, và thu hút những nhà nghiên cứu hàng đầu đã chán ngấy màn phô trương và drama đang phơi bày trước toàn ngành

    • Vì đã có khá nhiều thread lớn rồi
      Mixtral of experts - https://news.ycombinator.com/item?id=38598559 - tháng 12/2023, 272 bình luận
      Mistral-8x7B-Chat - https://news.ycombinator.com/item?id=38594578 - tháng 12/2023, 69 bình luận
      Mistral AI Valued at $2B - https://news.ycombinator.com/item?id=38593616 - tháng 12/2023, 221 bình luận
      Mistral's mixtral-8x7B-32kseqlen on Vercel - https://news.ycombinator.com/item?id=38584179 - tháng 12/2023, 30 bình luận
      French AI startup Mistral secures €2B valuation - https://news.ycombinator.com/item?id=38580758 - tháng 12/2023, 76 bình luận
      Mistral "Mixtral" 8x7B 32k model [magnet] - https://news.ycombinator.com/item?id=38570537 - tháng 12/2023, 236 bình luận
      Không hoàn toàn là cùng một tin, nhưng thảo luận nhìn chung đi theo hướng khá giống nhau, nên có thể xem tất cả hoặc phần lớn là bài gần trùng lặp
    • Trong số các công ty xuất hiện từ làn sóng AI hiện nay, đây chắc chắn là công ty ấn tượng nhất
      Chỉ trong khoảng 6 tháng, họ đã đưa ra chuẩn mốc cho mô hình 7B, và đang nhanh chóng tiến lên quy mô lớn hơn
      Hồi vòng gọi vốn tháng 3, tôi từng cười nhạo đó là dấu hiệu hype khi họ nhận 300 triệu USD chỉ với đội 3 người và một ý tưởng, nhưng rõ ràng là tôi đã không biết chi tiết. Khả năng thực thi của họ thật sự xuất sắc
      Có vẻ họ sẽ nuốt trọn mọi use case không cần hiệu năng GPT-4, và chẳng bao lâu nữa có thể nhắm cả vào mảng mô hình lớn
    • Xem bài blog và trang chủ thì cũng hơi khó nắm chính xác đây là gì
      Vì vậy có lẽ chỉ những người khá quen với AI mới nhận ra mức độ liên quan. Dù vậy phần giải thích ở trên chắc chắn hữu ích
    • Mistral ở Pháp, còn EU hiện đang có xu hướng dội gáo nước lạnh vào mảng quy định AI. Về dài hạn tôi nghĩ đây sẽ là bất lợi
    • Giáo dục kỹ thuật và khoa học máy tính của Pháp thật sự nhấn mạnh toán học và lý thuyết. Đây là lợi thế trong AI

  • Nếu benchmark chuyển hóa thành hiệu năng thực tế thì rất ấn tượng [1]
    mistral-medium vượt xa GPT-3.5 và Gemini Pro, mô hình công khai tốt nhất hiện nay của Google, trên các benchmark so sánh khả dụng: https://screenbud.com/shot/c0d904e3-24a3-4c23-a1e4-2f18bc021...
    [1] Nếu lấy Mistral 7B làm chuẩn, tôi dự đoán chênh lệch hiệu năng thực tế sẽ còn lớn hơn. Việc bộ lọc an toàn là tùy chọn cũng là lợi thế lớn ngay cả với các ứng dụng an toàn

    • Nếu AI lớn tiếp theo của Google đã bị một công ty nhỏ với ít tài nguyên hơn nhiều vượt mặt, thì đó là chuyện khá chua chát với Google
    • Điểm Winogrande cao hơn GPT-4. Các chỉ số khác có vẻ gần GPT-3 hơn, nên khá bất ngờ
    • Tôi nghĩ Gemini Pro thật ra đâu hẳn là “khả dụng”
      Tôi không tin các benchmark quảng bá cho đến khi mô hình được công khai. Trước khi phát hành, kết quả có thể thay đổi quá nhiều tùy vào việc họ phải hạ hiệu năng đến mức nào vì vấn đề an toàn
    • Nếu họ phát hành mô hình mới dưới dạng mã nguồn mở thì sẽ thật sự thú vị
    • Tôi đã xem một video, và bản thân Mixtral làm tốt đến đáng kinh ngạc trong nhiều tác vụ. Có những lĩnh vực GPT-4 không phải lúc nào cũng làm tốt đến mức đó

  • https://docs.mistral.ai/platform/pricing
    Giá cũng đã được công bố
    Mỗi 1 triệu token đầu ra: Mistral-medium là 8 USD, Mistral-small là 1,94 USD, gpt-3.5-turbo-1106 là 2 USD, gpt-4-1106-preview là 30 USD, gpt-4 là 60 USD, gpt-4-32k là 120 USD
    Mức giá này có vẻ là tín hiệu cho thấy Mistral khá tự tin rằng mistral-medium tốt hơn đáng kể so với gpt-3.5

    • Tôi tò mò liệu có ước tính nào về nhu cầu năng lượng của các mô hình này không
      Tính sơ bộ thì suy luận mô hình 30B trên GTX 4090 có thể đạt khoảng 30 token/giây [1], tức khoảng 100.000 token/giờ
      Nếu giả định một hệ thống như vậy dùng khoảng 1 kW, thì sẽ vào khoảng 10 kWh cho mỗi 1 triệu token
      Với giá điện hiện tại, có lẽ khó hạ xuống dưới 2–4 USD cho mỗi 1 triệu token với mô hình 30B
      [1] https://old.reddit.com/r/LocalLLaMA/comments/13j5cxf/how_man...
    • Nếu tính cả token đầu vào, xét tổng thể thì xấp xỉ 5,25 euro so với 1,5 euro cho mỗi 1 triệu token
      Mistral-small có vẻ là mô hình cạnh tranh trực tiếp nhất với gpt-3.5, và rẻ hơn. Mức giá khoảng 1,2 euro cho mỗi 1 triệu token
      Lưu ý là tôi giả định trọng số của token đầu vào và đầu ra là như nhau, và không thấy giá bằng USD
    • Hiện vẫn chưa an toàn để giả định như vậy. Đây vẫn là bản phát hành giới hạn, thực tế đọc như chỉ dành cho người được mời. Phải đến khi được phát hành công khai ở mức nào đó thì mới có thể kiểm thử và xác minh
    • Tôi tò mò liệu Mistral và GPT có dùng cùng tokenizer không
    • medium có vẻ muốn cạnh tranh với Claude của Anthropic hơn là sản phẩm của OpenAI
      https://www-files.anthropic.com/production/images/model_pric...

  • Cụm “endpoint được cung cấp dưới dạng early access” thực ra có nghĩa là “có một danh sách chờ dài không rõ bao nhiêu để được early access endpoint”
    Khi cố truy cập thì hiện thông báo: “Access to our API is currently invitation-only, but we'll let you know when you can subscribe to get access to our best models.”

    • Nhìn việc xác thực email bị hỏng theo nhiều cách trong suốt một giờ qua, có vẻ họ chưa chuẩn bị cho việc quảng bá tốt như tưởng

  • “Mistral-embed, our embedding endpoint, serves an embedding model with a 1024 embedding dimension. Our embedding model has been designed with retrieval capabilities in mind. It achieves a retrieval score of 55.26 on MTEB.”
    Tôi tò mò liệu có thông tin nào cho biết mô hình embedding này có phải là mã nguồn mở không, hoặc có dự định sẽ được mở nguồn trong tương lai không

  • “Mistral-Medium outperforms GPT-4 in Winogrande benchmark 88% vs 87.5%”
    Nguồn: https://twitter.com/yupiop12/status/1734137238177698106

  • Thật thú vị khi nhiều nền tảng như Lemonfox.ai đang cung cấp mô hình tinh chỉnh Mistral với giá thấp hơn
    Họ cũng đã công bố API Mistral 8x7B. Nếu muốn kiếm tiền, tôi bắt đầu tự hỏi liệu về sau họ có tiếp tục phát hành mã nguồn mở các mô hình như phiên bản medium hay không

    • Nếu không công bố trọng số, tôi tự hỏi vì sao mọi người phải quan tâm. Đến lúc nó có thể cạnh tranh với GPT-4 thì rất có thể GPT-5 đã ra mắt rồi

  • Tình cờ tôi thấy máy chủ TextSynth của Fabrice Bellard mới hỗ trợ mô hình Mistral 7B
    “2023-10-21: CUDA support in the Windows version, mistral model support. Speculative sampling is supported. BNF grammar and JSON schema sampling.”
    “mistral_7B_instruct_q4 - 3.9GB - Mistral 7B chat model”
    https://bellard.org/ts_server/

  • “Mistral-medium. Our highest-quality endpoint currently serves a prototype model, that is currently among the top serviced models available based on standard benchmarks.”
    Thú vị thật. Mô hình này vượt ChatGPT 3.5. Tôi không biết nó thuộc loại mô hình nào, và nó không phải mã nguồn mở

    • À, vậy có lẽ thứ được dùng trong ollama được gọi là phiên bản tiny
      “Mistral-tiny. Our most cost-effective endpoint currently serves Mistral 7B Instruct v0.2, a new minor release of Mistral 7B Instruct. Mistral-tiny only works in English. It obtains 7.6 on MT-Bench. The instructed model can be downloaded here.”