Khả năng tương thích OpenAI

Khả năng tương thích OpenAI

• Ollama hiện tương thích với API hoàn thành hội thoại của OpenAI, giúp có thể sử dụng Ollama cục bộ với nhiều công cụ và ứng dụng hơn.
• Bắt đầu thiết lập bằng cách tải xuống Ollama và lấy các mô hình như Llama 2 hoặc Mistral.

Cách dùng

cURL

• Sử dụng định dạng OpenAI để gọi endpoint API tương thích OpenAI của Ollama và đổi tên máy chủ thành http://localhost:11434.

Thư viện OpenAI Python

• Có thể dùng thư viện OpenAI Python để truy cập endpoint API của Ollama, kèm theo khóa API bắt buộc nhưng không được sử dụng.

Thư viện OpenAI JavaScript

• Có thể dùng thư viện OpenAI JavaScript để truy cập endpoint API của Ollama, kèm theo khóa API bắt buộc nhưng không được sử dụng.

Ví dụ

Vercel AI SDK

• Vercel AI SDK là thư viện mã nguồn mở giúp xây dựng các ứng dụng phát trực tuyến hội thoại.
• Sử dụng create-next-app để sao chép kho lưu trữ ví dụ.

Autogen

• Autogen là framework mã nguồn mở phổ biến để xây dựng các ứng dụng đa tác tử do Microsoft tạo ra.
• Ví dụ này sử dụng mô hình Code Llama, đồng thời cài đặt Autogen và tạo script Python để dùng Ollama.

Sắp có thêm nhiều tính năng

• Đây là hỗ trợ thử nghiệm ban đầu cho OpenAI API.
• Các cải tiến tương lai đang được cân nhắc gồm API embeddings, function calling, hỗ trợ vision và Logprobs.
• Xem tài liệu về khả năng tương thích OpenAI để biết thêm chi tiết.

---

Ý kiến của GN⁺

• Tương thích với OpenAI API: Khi Ollama tương thích với OpenAI API, các nhà phát triển có thể tích hợp và tận dụng mô hình AI trong môi trường cục bộ dễ dàng hơn. Đây là một thay đổi quan trọng giúp tăng khả năng tiếp cận trong phát triển ứng dụng dựa trên AI.
• Hỗ trợ nhiều ngôn ngữ lập trình: Việc hỗ trợ thông qua các thư viện Python và JavaScript cho thấy khả năng ứng dụng trong nhiều môi trường phát triển khác nhau. Điều này có nghĩa là các nhà phát triển có thể dễ dàng tích hợp tính năng AI bằng ngôn ngữ họ ưa dùng.
• Tích hợp với framework mã nguồn mở: Các ví dụ tích hợp với những framework mã nguồn mở như Vercel AI SDK và Autogen cho thấy khả năng mở rộng phạm vi sử dụng của Ollama, đồng thời thể hiện tiềm năng thúc đẩy đổi mới dựa trên cộng đồng.

[GN⁺]

Ý kiến Hacker News

• Trong vài tháng gần đây, mức độ dễ dùng của các LLM tự host tại chỗ đã cải thiện đáng kinh ngạc.

  • Vài giờ trước còn than thở về việc llamafile của Mozilla-Ocho dễ dùng đến mức nào.
  • Đang gặp khó khăn trong việc quyết định nên dùng LLM nào.

• Có những người cá nhân cảm thấy không hài lòng khi khả năng tương thích với API OpenAI đang trở thành tiêu chuẩn của cộng đồng.

  • Có một vài điểm gượng gạo như việc lồng dữ liệu không cần thiết, nhưng không có phàn nàn lớn.
  • Tò mò về những vấn đề khi một API trở thành tiêu chuẩn và liệu có nỗ lực nào cho các tiêu chuẩn thay thế hay không.

• Đang phát triển một phiên bản Copilot được cải tiến, hỗ trợ để người dùng có thể mang LLM của riêng mình vào.

  • Đã thêm backend tương thích OpenAI, nên nếu cung cấp endpoint API tương thích OpenAI thì hệ thống sẽ xử lý định dạng prompt, chuỗi dừng, số token tối đa, v.v. theo ngữ nghĩa của mô hình đó.
  • Cần tính năng như vậy để có thể thử nghiệm trong môi trường phát triển cục bộ, và việc Ollama cung cấp điều này giúp việc kiểm thử hỗ trợ nhiều LLM khác nhau trở nên dễ dàng hơn nhiều.

• Ollama hoạt động tốt hơn các công cụ khác và đơn giản là chạy được.

  • Đã chạy Dolphin Mixtral 7b trên Raspberry pi 4 để yêu cầu công thức bánh ngô, và vài giờ sau phát hiện nó đã tạo ra được hai ký tự.

• Script cài đặt Linux của Ollama hoạt động theo phong cách tiêu chuẩn hiện nay.

  • Tuy nhiên, lần kiểm tra gần nhất thì script có yêu cầu quyền root thông qua sudo.
  • Nếu muốn dùng công cụ này thì nên tải script về để kiểm tra hoặc chỉnh sửa khi cần.

• Tính tương thích với OpenAI có phần hơi dễ gây hiểu lầm.

  • Việc triển khai role và content vốn luôn tương đối đơn giản.
  • Khi host agent thì thực sự phải xử lý công việc thực tế.
  • Đã đưa một engine scripting vào hệ thống agent và cảm thấy cần phải cân nhắc vấn đề bảo mật cũng như thiết lập quyền hạn.

• Lớp tương thích cũng có thể được xây dựng ở phía thư viện.

  • Ví dụ, Langchain có llm() hoạt động với nhiều backend LLM khác nhau.

• Đang thực hiện một dự án cho phép chuyển đổi dễ dàng giữa mã nguồn mở (ví dụ: HF, VLLM) và các mô hình thương mại (OpenAI, Google, Anthropic, Together).

  • Nếu muốn dùng trực tiếp từ Python mà không cần HTTP API thì sẽ dễ sử dụng hơn.

• Đặt câu hỏi về trường hợp sử dụng của Ollama là gì, và vì sao không nên dùng trực tiếp llama.cpp.

• Hỏi liệu Ollama có phải chỉ là một máy chủ HTTP dạng Dockerized gọi trực tiếp llama.cpp hay không, và ngoài API OpenAI mới được bổ sung thì còn khác biệt gì nữa.