Ollama Turbo
(ollama.com)- Ollama Turbo là giải pháp mới giúp chạy nhanh các mô hình mở quy mô lớn trên phần cứng trung tâm dữ liệu hiệu năng cao (20 USD/tháng)
- Cung cấp cách vận hành các mô hình lớn nhanh và hiệu quả khi vẫn giữ nguyên ứng dụng, CLI, API và thư viện JavaScript/Python của Ollama
- Hiện đang ở chế độ xem trước và hỗ trợ gpt-oss-20b cùng gpt-oss-120b của OpenAI
- Khi bật chế độ Turbo, nội dung truy vấn sẽ không được lưu trữ hoặc ghi log trên máy chủ
- Phần cứng được vận hành chỉ tại các trung tâm dữ liệu tại Mỹ, áp dụng giới hạn sử dụng theo giờ và theo ngày, và sắp tới sẽ triển khai hệ thống tính phí theo mức sử dụng
1 bình luận
Ý kiến trên Hacker News
Tôi nghĩ đây là một màn ra mắt rất ấn tượng. Hiện tại, phần khó nhất khi doanh nghiệp dùng mô hình OSS là có quá nhiều yếu tố phải cân nhắc: tốc độ, chi phí, độ tin cậy, mức độ tương đương về tính năng (ví dụ: context caching), hiệu năng (chính xác là đang ở mức quant nào, v.v.), khu vực lưu trữ/đảm bảo quyền riêng tư dữ liệu, LTS, v.v. Trên thực tế, nếu muốn dùng mô hình OSS từ một nhà cung cấp không phải ba ông lớn, bạn phải tự đánh giá nhà cung cấp đó trên toàn bộ các trục này, và quá trình ấy đôi khi đòi hỏi chuyên môn rất cao. Thậm chí có lúc còn phải tự xây công cụ đánh giá riêng. Trong khi đó, Anthropic, OpenAI và Google đơn giản là mang lại trải nghiệm “cứ dùng là chạy”, và bạn đang trả tiền cho điều đó. Dù giá có đắt hơn một chút, tôi nghĩ đó là cái giá cho việc họ “lo hết mọi thứ”. Trừ khi các nhà cung cấp OSS cùng chuẩn hóa, nếu không thì dù về lý thuyết mô hình nguồn mở có ngang với mô hình đóng về hiệu năng, trên thực tế chúng vẫn sẽ mắc kẹt ở giai đoạn trung gian khó cạnh tranh khi triển khai quy mô lớn
Nói đúng, nhưng dùng các nhà cung cấp quy mô lớn tiêu biểu cũng đồng nghĩa với việc giao toàn bộ lưu lượng prompt của bạn đi mà không có bất kỳ bảo vệ pháp lý thực chất nào. Xem thêm chi tiết trong bài viết liên quan
Các mô hình gpt-oss chỉ được cung cấp ở định dạng quant 4.5 bit. Đây là bản mô hình gốc thuần túy, tức là không có bản fp16
Có người phản ứng tiêu cực vì Ollama làm việc này, nhưng thực tế tôi nghĩ đây là giải pháp dễ nhất để phát triển và thử nghiệm mô hình trên máy cục bộ. Đúng, llama.cpp mới là engine thực sự còn Ollama giống như một lớp bọc. Tôi sẽ không muốn dùng Ollama cho dịch vụ thương mại thực tế. Tuy vậy, nếu những người không có hiểu biết kỹ thuật sâu muốn nhanh chóng tự xây và chạy một hệ thống có tính năng LLM, thì việc có GUI và cài được ngay bằng file .dmg là một điểm rất hay
Cảm ơn về phản hồi này. Sau bản cập nhật engine đa phương thức gần đây, Ollama không còn chỉ là một lớp bọc đơn giản cho llama.cpp nữa. Chúng tôi vẫn dùng thư viện GGML và đang cùng các đối tác phần cứng tối ưu hiệu năng. Ollama có thể trông như một món đồ chơi, nhưng chúng tôi đã bỏ ra rất nhiều công sức để giữ nó đơn giản. Sự đơn giản thường bị xem nhẹ, nhưng chúng tôi muốn xây dựng thế giới mà mình mong muốn
Có ý kiến nói rằng không muốn dùng Ollama trong môi trường thương mại. Thực tế, chúng tôi đã benchmark tốc độ khởi động và số token xử lý mỗi giây giữa vLLM và Ollama, và Ollama cho kết quả tốt nhất. Hy vọng sớm có thể công bố các kết quả đó
Nếu bạn không thể dùng GPU datacenter đúng nghĩa và chỉ có thể triển khai trên desktop hoặc phía client, thì Ollama là lựa chọn tối ưu. Tình huống này không phổ biến, nhưng ở một số tổ chức, thực tế là họ chỉ có thể dùng desktop gắn card 4090
Tôi xem Ollama là biểu tượng của “local”, nên khá tò mò không biết sắp tới sẽ đi về đâu
Có một nhóm nhỏ nhưng rất ồn ào những người dùng không tin các tập đoàn lớn, nhưng họ lại thấy ổn khi trả tiền cho dịch vụ tương tự từ một công ty nhỏ. Tôi tự hỏi liệu những người dùng như vậy có thực sự chịu trả tiền cho dịch vụ kiểu Ollama hay không
Cảm giác giống dịch vụ cloud gaming. Thường thì dùng local là đủ hài lòng, nhưng đôi khi việc chuyển chi phí phần cứng cho người khác lại hiệu quả hơn. Cuối cùng đây là vấn đề lựa chọn, chứ không phải chuyện hoặc tất cả hoặc không gì cả
Tôi muốn biết cụ thể hơn về “Privacy first”. Nếu chỉ nhấn mạnh rằng “không lưu dữ liệu” thì vẫn thấy chưa đủ. Ví dụ Draw Things cũng cung cấp “Cloud Compute”, nơi toàn bộ xử lý dữ liệu chỉ diễn ra trong RAM theo từng request và không lưu lại. Nhưng cá nhân tôi vẫn không thấy cách này đủ thỏa đáng. Họ sắp thêm hỗ trợ “privacy pass”, nhưng cái đó cũng có giới hạn. Sẽ rất tốt nếu có cả transparency log có thể kiểm chứng bằng phần cứng, nhưng tôi không biết nên bắt đầu từ đâu
Tôi không nghĩ làm việc với Ollama thì có lợi thế gì về quyền riêng tư. Ollama cũng có thể bán dữ liệu, hoặc nếu cần thì vẫn có thể bị buộc phải nộp dữ liệu theo pháp luật
Tôi không thấy chính sách quyền riêng tư, và ứng dụng desktop lại không phải mã nguồn mở nên không tạo được niềm tin. [Nhân tiện, tôi đang xây một giải pháp gọi LLM mà quyền riêng tư thực sự được đảm bảo bằng transparency log, v.v.]
Nếu họ cho phép chạy mô hình tại Thụy Sĩ hoặc ở quốc gia tuân thủ GDPR tốt, thì dù độ trễ có cao hơn một chút tôi vẫn sẵn sàng trả thêm. Tôi cũng muốn việc truyền dữ liệu bắt buộc phải được xử lý bằng các giao thức bảo mật như SSL
Tôi hơi thắc mắc liệu thay vì trả cùng 20 USD để dùng mô hình “kém hơn” trên Ollama, có phải dùng mô hình SOTA trên OpenAI sẽ tốt hơn không
Lợi thế lớn của Ollama Turbo là bạn có thể thử ngay trên cloud nhiều mô hình vốn có thể chạy local nếu có phần cứng phù hợp. Trước khi bỏ ra khoản chi phí lớn để mua phần cứng cấu hình cao (mac studio, dgx, v.v.) và tự triển khai, bạn có thể nhanh chóng thử các mô hình mở như vậy để đánh giá khả năng áp dụng. Các nhà phát triển chuyên ngành trong tài chính, y tế, pháp lý, nơi quyền riêng tư rất quan trọng, thường sẽ muốn on-premise và môi trường local. Họ có thể dùng dịch vụ này để thử nghiệm và phát triển với dữ liệu không nhạy cảm, rồi khi đưa vào vận hành thực tế thì chuyển sang phần cứng của riêng mình
Điểm mạnh là có thể chạy mô hình tự do không bị filter. OpenAI lọc quá mức và cũng không cho biết bạn đã vi phạm quy định nào. Bạn phải thay đổi prompt liên tục để tự kiểm tra xem có vi phạm bản quyền, nhãn hiệu, v.v. hay không, và gần đây thậm chí chỉ đặt câu hỏi thôi cũng không được trả lời tử tế. Tôi muốn một phiên bản LLM không có “rào chắn bảo hộ”
Tôi không chắc giá của các mô hình lớn về sau có còn giữ ở mức 20 USD hay không. Dù sao tôi vẫn luôn mong thị trường tiếp tục cạnh tranh
Có lẽ lý do quan trọng nhất là quyền riêng tư dữ liệu, và cũng có thể kỳ vọng gói cước sẽ cho phép dùng nhiều hơn. Với cá nhân tôi, quyền riêng tư dữ liệu là điểm cốt lõi
Đây là điều tôi đã dự đoán. Cộng đồng suy luận local đang tập trung quanh Ollama, nhưng có vẻ khá rõ là chiến lược dài hạn hay ưu tiên của Ollama không nằm ở đó. Tôi nghĩ nên nhanh chóng chuyển sang phương án thay thế
Thư viện nền tảng của Ollama là llama.cpp vốn tự nó đã có chức năng server và tương thích hoàn toàn với open-webui. Thực ra vài tháng trước tôi đã chuyển từ ollama sang llama-server, vẫn dùng cùng UI nên chẳng thấy thiếu thốn gì cả
Ollama vẫn mở, và chỉ thu phí với những người dùng muốn có thêm GPU. GPU thực sự có chi phí nên việc tính phí là hợp lý, và tôi cũng nghĩ cần dùng khoản doanh thu đó để phát triển phần cốt lõi của dự án mã nguồn mở. Mọi thứ cần hợp lý ở một mức nào đó, và nếu làm một cách có lương tâm thì có thể tạo ra sản phẩm rất tốt
Cũng có dự án github.com/containers/ramalama hướng tới mục tiêu đó
Huggingface cũng cung cấp sản phẩm cloud, nhưng điều đó không có nghĩa là bạn không thể tải trọng số mô hình về và chạy local
Cuối cùng thì việc muốn một dịch vụ miễn phí theo cách không bền vững cũng có giới hạn. Ai muốn có phương án mã nguồn mở thay thế thì có thể tự bỏ thời gian ra làm. Nếu không, có lẽ cũng cần chấp nhận thực tế hiện nay
Tôi thấy khó hiểu vì sao Ollama lại đưa ra quyết định này. Nếu không phải để kiếm doanh thu thì có vẻ như là đang chịu áp lực từ đâu đó. Giải pháp cho local đang hoạt động rất tốt và có thể mở ra nhiều ý tưởng đa dạng hơn, nên thật đáng tiếc khi họ lại làm thêm một dịch vụ cloud khác. Tôi vẫn luôn thích Ollama và mong họ tiếp tục giữ được sự tuyệt vời như trước
Có khá nhiều điểm khiến tôi chú ý trong tin này. Là engine mô hình OSS local tiêu biểu, việc lần này chỉ cung cấp OSS ngay từ đầu tạo cảm giác như đang tận dụng thời điểm công bố hôm nay và làn sóng bùng nổ OSS. Gói cước thuê bao cũng khá thú vị; các bên khác cũng có áp dụng nhưng trong dịch vụ dựa trên API thì vẫn khá hiếm. Về dài hạn tôi dự đoán sẽ có chiến tranh giá trong LLM, và việc cả dịch vụ API cũng xuất hiện gói thuê bao tháng có thể là một dấu hiệu của hiện tượng đó. Tôi tò mò liệu Ollama có đủ nguồn lực để duy trì cả engine local lẫn dịch vụ cloud mới này không
Họ nói sắp có “giá theo mức sử dụng”, và tôi nghĩ đó là mô hình rất hợp với kiểu dịch vụ này. Tôi cũng đang trả 20 USD cho Anthropic, nhưng cá nhân tôi có lẽ không dùng đủ nhiều để đáng trả cùng số tiền đó cho dịch vụ này. Dù vậy, việc có thể gọi và so sánh ngay nhiều mô hình khác nhau thực sự rất hữu ích. Chúc đội ngũ có kết quả tốt
Dịch vụ tính phí cố định cho LLM nguồn mở là khá độc đáo. Tôi có lẽ sẽ không dùng, nhưng nếu áp dụng giá theo mức sử dụng thì họ sẽ phải cạnh tranh trực tiếp với các tên tuổi sẵn có như deepinfra.com, novita.ai, openrouter.ai. Ollama nổi tiếng hơn, nhưng các dịch vụ hiện tại cũng đã có giá rất cạnh tranh
Tôi đồng ý là giá theo mức sử dụng sẽ sớm ra mắt. Tuy nhiên hiện đã có rất nhiều nhà cung cấp phục vụ nhiều mô hình dựa trên OpenAI, nên tôi tò mò điểm khác biệt của Ollama là gì. Cũng đã có rất nhiều giao diện tốt cho phép dùng API key riêng
Gói thuê bao 20 USD/tháng cho truy cập API quả thực rất mới lạ
Giá thuê bao cho việc dùng API đúng là một thử nghiệm rất đáng chú ý. Giá trị thực tế có lẽ sẽ phụ thuộc vào việc giới hạn sử dụng là bao nhiêu, trong khi hiện vẫn chưa được công bố