Codestral - Mô hình AI tạo mã của Mistral

 (mistral.ai)
13 điểm bởi GN⁺ 2024-05-30 | 1 bình luận | Chia sẻ qua WhatsApp
  • Mô hình AI được huấn luyện trên hơn 80 ngôn ngữ lập trình
  • Không chỉ hỗ trợ các ngôn ngữ phổ biến như Python, Java, C, C++, JavaScript, Bash mà còn cả các ngôn ngữ chuyên biệt như Swift, Fortran, giúp hỗ trợ lập trình viên trong nhiều môi trường và dự án mã hóa khác nhau

Thiết lập tiêu chuẩn mới cho hiệu năng tạo mã

  • Đạt hiệu năng vượt trội và độ trễ ngắn hơn so với các mô hình trước đó
  • Python
    • Codestral 22B 32k : HumanEval 81.1%, MBPP 78.2%, CruxEval-O 51.3%, RepoBench 34.0%
    • CodeLlama 70B 4k : HumanEval 67.1%, MBPP 70.8%, CruxEval-O 47.3%, RepoBench 11.4%
  • SQL (Spider)
    • Codestral 63.5%, CodeLlama 37%
  • Trung bình nhiều ngôn ngữ
    • Trung bình HumanEval : Codestral 61.5%, CodeLlama 51.9%

Bắt đầu với Codestral

  • Codestral có thể được sử dụng cho mục đích nghiên cứu và thử nghiệm theo Mistral AI Non-Production License, tải xuống từ HuggingFace
  • Sử dụng thông qua endpoint mới codestral.mistral.ai. Được quản lý bằng khóa API cá nhân và có thể dùng trong giai đoạn beta miễn phí 8 tuần
  • Có thể sử dụng qua endpoint api.mistral.ai, tính phí theo token.
  • Có thể tương tác tự nhiên với Codestral thông qua Le Chat.

Hỗ trợ sử dụng Codestral trong môi trường lập trình ưa thích

  • Khung ứng dụng: đã được tích hợp vào LlamaIndex và LangChain.
  • Tích hợp VSCode/JetBrains: có thể dùng Codestral trong môi trường VSCode và JetBrains thông qua Continue.dev và Tabnine.

Phản hồi từ cộng đồng lập trình viên

  • Nate Sesti (CTO của Continue.dev): Đây là mô hình tự động hoàn thành mã công khai đầu tiên vừa có tốc độ vừa có chất lượng, và sẽ mang lại thay đổi lớn cho các lập trình viên.
  • Vladislav Tankov (phụ trách AI tại JetBrains): Rất kỳ vọng vào khả năng của Mistral với trọng tâm mạnh mẽ vào mã và hỗ trợ phát triển.
  • Mikhail Evtikhiev (nhà nghiên cứu tại JetBrains): Thể hiện hiệu năng vượt GPT-4-Turbo và GPT-3.5-Turbo trên benchmark Kotlin-HumanEval.
  • Meital Zilberstein (R&D Lead tại Tabnine): Cho thấy hiệu năng xuất sắc trong tạo mã, tạo kiểm thử, tài liệu hóa và cải thiện đáng kể hiệu quả sản phẩm.
  • Quinn Slack (CEO của Sourcegraph): Giảm độ trễ trong tự động hoàn thành mã mà vẫn giữ được chất lượng, mang lại giá trị thực tiễn cho lập trình viên.
  • Jerry Liu (CEO của LlamaIndex): Tạo ra mã chính xác và hoạt động tốt ngay cả với các tác vụ phức tạp.
  • Harrison Chase (CEO của LangChain): Cung cấp tốc độ nhanh, cửa sổ ngữ cảnh thuận lợi và hỗ trợ sử dụng công cụ.

Ý kiến của GN⁺

  • Tiến bộ của AI tạo mã: Codestral hỗ trợ nhiều ngôn ngữ và có hiệu năng cao, có thể là trợ thủ lớn cho các lập trình viên.
  • Tính dễ sử dụng: Cung cấp nhiều tùy chọn tích hợp và endpoint chuyên dụng, giúp việc sử dụng thuận tiện.
  • Đánh giá hiệu năng: Thể hiện hiệu năng cao qua nhiều benchmark nên khá đáng tin cậy.
  • Mô hình cạnh tranh: Cho thấy hiệu năng vượt trội ngay cả khi so với GPT-4-Turbo, GPT-3.5-Turbo, v.v.
  • Cân nhắc khi triển khai: Cần quyết định triển khai dựa trên hiệu năng và tính khả dụng của mô hình.

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-05-30
Ý kiến trên Hacker News

Tóm tắt bình luận trên Hacker News

  • Hạn chế giấy phép: Mô hình và đầu ra bị cấm sử dụng cho hoạt động thương mại hoặc trong điều kiện "live". Việc dùng đầu ra mã nguồn như một phần của quá trình phát triển thì được loại trừ, nhưng ngay cả sử dụng nội bộ trong bối cảnh hoạt động kinh doanh của công ty cũng bị cấm. Điều này khiến việc so sánh với các mô hình open-weight khác trở nên không công bằng.

  • Thử nghiệm mô hình lập trình: Đã yêu cầu các mô hình lập trình viết một middleware Python ASGI cụ thể, nhưng không mô hình nào thực hiện chính xác.

  • Khác biệt về triết lý LLM: Có sự khác biệt về triết lý giữa LLM kiểu Llama và LLM kiểu OpenAI/GPT. GPT đã phát triển với trọng tâm là mã nguồn, trong khi các mô hình Llama/Mistral trước tiên phát hành mô hình ngôn ngữ tổng quát rồi bổ sung huấn luyện về mã để đưa ra CodeLlama/Codestral.

  • Tích hợp VSCode: Có người thắc mắc liệu có cách dùng trong VSCode theo kiểu "shadow code" xuất hiện như Copilot hay không. Chất lượng của các công cụ này phụ thuộc vào khả năng thiết kế prompt phù hợp ở phía client.

  • Giới hạn sử dụng: Mô hình Mistral và các biến thể phái sinh chỉ được dùng cho mục đích thử nghiệm, nghiên cứu, cá nhân hoặc đánh giá, và không được dùng cho hoạt động thương mại.

  • Vấn đề tính thực dụng: Có ý kiến cho rằng nếu không thể dùng trong các trường hợp hoàn thành mã thực tế thì nó không có nhiều ý nghĩa. GH Copilot vẫn là mô hình tốt nhất hiện nay.

  • Liên kết Huggingface: Liên kết trang Huggingface

  • Dân chủ hóa việc viết mã: Có người nhắc đến các vấn đề từng xảy ra khi dân chủ hóa nghệ thuật, và lo ngại sẽ xuất hiện nhiều thư viện thiếu độ tin cậy do AI tạo ra.

  • Yêu cầu RAM: Có câu hỏi về yêu cầu RAM để chạy cục bộ mô hình 44GB có thể tải từ Huggingface. Người hỏi cũng thắc mắc liệu yêu cầu RAM "hợp nhất" giữa GPU và Apple Silicon có giống nhau không.

  • Tiện ích mở rộng VSCode: Có người hỏi liệu có tiện ích mở rộng VSCode nào cho phép dùng nhiều mô hình dưới dạng plugin hay không, vì việc cấu hình lại mỗi lần khá phiền.