Show HN: Thêm Mistral Codestral và GPT-4o vào Jupyter Notebooks

Pretzel 🥨, giải pháp thay thế Jupyter hiện đại và mã nguồn mở

Pretzel là một bản fork của Jupyter được tạo ra để cải thiện các tính năng của Jupyter. Nó bổ sung khả năng tạo và chỉnh sửa mã bằng AI, hoàn thành tab nội tuyến, trò chuyện ở thanh bên và sửa lỗi. Việc chuyển từ Jupyter sang Pretzel rất dễ dàng. Toàn bộ thiết lập, key binding và tiện ích mở rộng của Jupyter vẫn hoạt động nguyên vẹn.

Bắt đầu nhanh

• Cài đặt: chạy pip install pretzelai, sau đó chạy pretzel lab để mở giao diện web. Hoặc có thể dùng phiên bản được host miễn phí: pretzelai.app
• Bắt đầu gõ trong ô để dùng tính năng hoàn thành tab nội tuyến
• Trong ô Jupyter, nhấp vào "Ask AI" hoặc nhấn Cmd+K (Mac) / Ctrl+K (Linux/Windows) để mở prompt AI
• Kích hoạt thanh bên AI bằng Ctrl+Cmd+B (Mac) hoặc Ctrl+Alt+B (Linux/Windows) để trò chuyện với AI, tạo mã và đặt câu hỏi
• Xem phần cài đặt để thiết lập dùng OpenAI API key

Cài đặt

• Cài Pretzel bằng pip: pip install pretzelai
• Nếu dùng conda, hãy cài pip trước rồi cài Pretzel: conda install pip, sau đó pip install pretzelai
• Khởi động Pretzel: pretzel lab

Cách dùng

Hoàn thành tab nội tuyến

• Chỉ cần bắt đầu gõ trong ô là có thể dùng tính năng hoàn thành tab nội tuyến bằng Codestral của Mistral
• Tính năng hoàn thành sẽ được kích hoạt sau 1 giây chờ

Tạo và chỉnh sửa mã trong ô notebook

• Trong ô, nhấn Cmd+K (Mac) / Ctrl+K (Windows/Linux) hoặc nhấp vào "Ask AI" để mở hộp văn bản prompt AI
• Có thể tham chiếu biến và dataframe đang có trong bộ nhớ bằng cách nhắc tới @variable
• Nếu đã có mã sẵn, prompt sẽ chỉnh sửa mã hiện có
• Nếu chọn/tô sáng một phần mã trong ô, chỉ phần mã được chọn mới bị chỉnh sửa
• Có thể chấp nhận/từ chối phản hồi hoặc sửa prompt để gửi lại
• Có thể dùng ↑ / ↓ để duyệt lịch sử prompt

Dùng thanh bên AI

• Kích hoạt thanh bên AI bằng Ctrl+Cmd+B (Mac) / Ctrl+Alt+B (Linux/Windows) hoặc biểu tượng Pretzel ở thanh bên phải
• Có thể đặt câu hỏi, tạo mã hoặc tìm trong mã hiện có
• AI luôn dùng mã của ô đang активе làm ngữ cảnh. Nếu tô sáng một phần mã trong ô đang hoạt động, chỉ phần được tô sáng mới được dùng làm ngữ cảnh

Ví dụ sử dụng:

• "Modify the function my_function in @notebook to be more efficient" ← Tìm và chỉnh sửa hàm my_function trong toàn bộ notebook
• "Where is the code in @notebook that removes outliers"? ← Tìm đoạn mã loại bỏ outlier trong toàn bộ notebook
• "Can you explain what this code does?" ← Giải thích mã trong ô hiện tại

Thêm mã vào giữa mã hiện có

• Đặt con trỏ vào dòng trống hoặc dòng mã hiện có rồi nhấn Cmd+K để mở hộp văn bản prompt AI
• Nếu prompt bắt đầu bằng inject hoặc ij, AI sẽ thêm mã mới thay vì chỉnh sửa mã hiện có
• Mã sẽ được thêm vào một dòng bên dưới dòng đang đặt con trỏ

Sửa lỗi bằng AI

• Khi xảy ra lỗi, nút "Fix Error with AI" sẽ xuất hiện ở góc trên bên phải. Nhấp vào đó để thử sửa lỗi

Cài đặt

• Pretzel hoạt động ngay cả khi không cần cấu hình
• Theo mặc định, Pretzel dùng máy chủ AI miễn phí. Có thể cấu hình để dùng OpenAI/Azure API key

Hỗ trợ OpenAI

• Mở menu Settings trên thanh menu phía trên, nhấp Settings Editor
• Tìm Pretzel, rồi chọn Pretzel AI Settings ở thanh bên trái
• Trong menu thả xuống AI Service, chọn OpenAI API Key, sau đó nhập API key vào OpenAI Settings > API Key
• Nếu dùng OpenAI Enterprise, cũng có thể nhập base URL cho các lệnh gọi OpenAI
• Mô hình mặc định là GPT-4o, có thể thay đổi trong menu thả xuống OpenAI Model

Hỗ trợ Azure

• Tương tự cài đặt OpenAI, có thể chọn Use Azure API trong menu thả xuống AI Service để dùng mô hình được host trên Azure

Phản hồi, lỗi và tài liệu

• Báo lỗi: https://github.com/pretzelai/pretzelai/issues
• Phản hồi và khiếu nại: [e-mail]

Thông tin liên quan đến Jupyter

• Có thể xem tài liệu gốc của Jupyter tại đây, và README của Jupyterlab tại đây

Chính sách quyền riêng tư, thu thập và lưu giữ dữ liệu

• Không thu thập thông tin cá nhân. Chỉ dùng telemetry cơ bản cho các tính năng AI
• Nếu cho phép cookie, có thể nhận diện cùng một người dùng qua nhiều phiên trình duyệt
• Chỉ thu thập prompt cho các tính năng AI, không thu thập phản hồi. Có thể tắt telemetry prompt trong phần cài đặt
• Hoàn toàn không thu thập mã. Ngay cả khi dùng máy chủ AI đám mây của Pretzel, mã cũng không được lưu
• Nếu dùng phiên bản được host của Pretzel, tài khoản người dùng sẽ được tạo dựa trên địa chỉ email. Có thể đăng nhập bất cứ lúc nào để xóa dữ liệu đã lưu
• Máy chủ host có thể dùng miễn phí, nhưng dữ liệu và tài khoản sẽ bị xóa sau 30 ngày kể từ lần đăng nhập cuối. Nếu muốn xóa tài khoản ngay lập tức, hãy gửi email tới [e-mail] với tiêu đề "Account Deletion"

FAQ

Q. Phiên bản Pretzel AI trước đây đã ra sao? A. Có thể xem trong thư mục pretzelai_visual. Tham khảo PR này để biết thêm chi tiết

Q. Pretzel dùng những mô hình AI nào? A. Pretzel dùng các mô hình AI khác nhau cho từng tác vụ:

1. Mô hình mặc định: GPT-4o
   • Cân bằng tốt giữa tốc độ và chất lượng
   • Nếu dùng API key riêng, có thể thay đổi trong cài đặt Pretzel
2. Hoàn thành nội tuyến: mô hình Codestral của Mistral
   • Rất xuất sắc cho hoàn thành mã
   • Hiệu năng rất nhanh (mô hình 22B tham số)
3. Tùy chọn thay thế:
   • Nếu dùng API key riêng nhưng không cung cấp Mistral API key, Pretzel sẽ dùng GPT-4o cả cho hoàn thành nội tuyến

Q. Tính năng X thì sao? A. Còn rất nhiều tính năng muốn xây dựng. Nếu có tính năng bạn muốn, hãy mở issue cho chúng tôi biết

Q. Lộ trình ở đâu? A. Có một lộ trình sơ bộ ở đầu README. Chúng tôi muốn xây dựng rất nhiều tính năng, nhưng hiện tại chỉ có hai người đang làm. Chúng tôi sẽ thu thập phản hồi để ưu tiên. Hãy mở issue hoặc gửi email phản hồi

Q. Vì sao dùng giấy phép AGPL thay vì MIT/BSD3? A. Mục tiêu khi xây dựng Pretzel là tạo ra một công cụ dữ liệu tuyệt vời mà cả cá nhân lẫn công ty đều có thể dùng miễn phí. Giấy phép AGPLv3 giúp ngăn bên thứ ba lấy mã đem bán mà không đóng góp lại cho cộng đồng

Q. Vì sao chọn fork Jupyter? Tại sao không đóng góp trực tiếp cho Jupyter? A. Chúng tôi nhận ra việc chuyển sang một công cụ mới là rất khó. Fork Jupyter giúp giảm tối đa chi phí chuyển đổi. Jupyter là một sản phẩm trưởng thành và cho phép bổ sung tính năng nhanh chóng

Q. Nếu công ty lo ngại về việc dùng công cụ theo giấy phép AGPLv3 thì sao? A. AGPL chỉ trở thành rào cản nếu bạn sửa Pretzel và phân phối lại công khai. Nếu chỉ dùng như một công cụ nội bộ trong công ty, AGPL không yêu cầu bạn chia sẻ mã. Nếu AGPL là vấn đề, hãy liên hệ để cùng tìm giải pháp

Q. Các bạn định kiếm tiền như thế nào? Tại sao lại cung cấp miễn phí? A. Chúng tôi dự định tạo doanh thu bằng cách bán phiên bản được host cho doanh nghiệp. Phiên bản này sẽ bao gồm các tính năng doanh nghiệp cần như kiểm soát truy cập dữ liệu, kết nối nguồn dữ liệu, tích hợp GitHub và dashboard có thể chia sẻ. Phiên bản cho cá nhân sẽ không bị chuyển sang trả phí

Ý kiến của GN⁺

• Pretzel mở rộng khả năng của Jupyter để cung cấp công cụ tốt hơn cho các nhà khoa học dữ liệu và kỹ sư. Tính năng tạo và chỉnh sửa mã bằng AI có thể cải thiện năng suất đáng kể
• Việc bổ sung tính năng mới trong khi vẫn giữ tương thích với Jupyter là rất ấn tượng. Đây là lợi thế lớn cho người dùng vì gần như không có chi phí chuyển đổi
• Việc dùng giấy phép AGPL để khuyến khích đóng góp cho cộng đồng là điểm tích cực. Tuy nhiên, một số doanh nghiệp có thể ngần ngại áp dụng do vấn đề giấy phép
• Các tính năng AI của Pretzel giúp việc viết mã và debug dễ dàng hơn, nhưng kết quả có thể khác nhau tùy theo hiệu năng và độ chính xác của mô hình AI. Cần tiếp tục cải thiện các mô hình AI
• Những công cụ có tính năng tương tự Pretzel gồm Google Colab, tiện ích mở rộng Jupyter của VSCode, v.v. Việc so sánh ưu và nhược điểm của từng công cụ trước khi chọn là rất quan trọng