Ollama nay đã hỗ trợ card đồ họa AMD

• Ollama đã bắt đầu hỗ trợ card đồ họa AMD trên Windows và Linux trong phiên bản preview
• Mọi tính năng của Ollama giờ đây đều có thể được tăng tốc bằng card đồ họa AMD trên Linux và Windows

Các card đồ họa được hỗ trợ

• Dòng AMD Radeon RX: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• Dòng AMD Radeon PRO: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• Dòng AMD Instinct: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• Hỗ trợ cho nhiều card đồ họa AMD hơn sẽ sớm được bổ sung.

[GN⁺]

Ý kiến trên Hacker News

• Thiếu ghi nhận cho những đóng góp của llama.cpp

  • Dễ nhận thấy rằng llama.cpp không được ghi nhận hay cảm ơn trực tiếp cho các công cụ dựa trên công nghệ mà nó cung cấp.
  • Các phần mềm "chạy cục bộ" khác nhận được mức độ ghi công phù hợp, còn Ollama thì dù có vẻ không có vấn đề gì về giấy phép MIT, lại không hề có lời cảm ơn nào trong kho mã, blog hay trên website của Ollama.

• Ý kiến về bài blog liên quan đến việc Ollama hỗ trợ AMD

  • Bài blog tạo cảm giác khá thú vị. Tôi đã chạy Ollama trên AMD RX 6650 được vài tuần rồi.
  • Họ đã cung cấp container ROCm từ 21 ngày trước, và có vẻ nó được đăng cùng bản phát hành mới nhất 0.1.29. Tôi tò mò lần phát hành này thực sự đã thay đổi điều gì liên quan đến hỗ trợ AMD.
  • Có một issue mô tả quá trình chạy Ollama trên các card AMD chưa được hỗ trợ chính thức. Về cơ bản chỉ cần thiết lập biến môi trường.
  • Tôi nhận ra rằng model starcoder2 giờ đã hoạt động. Trước đây nó từng bị crash.

• Hoài nghi về mức độ chú ý quá lớn dành cho Ollama

  • Tôi không thực sự chắc vì sao Ollama lại nhận được nhiều sự quan tâm đến vậy. Nó chỉ hỗ trợ một model tại một thời điểm và có giá trị khá hạn chế, chủ yếu dùng để thử nghiệm.
  • Nó khiến quá trình thử nghiệm trở nên rất dễ dàng, nhưng xét việc nó hoàn toàn phụ thuộc vào llama.cpp và giá trị cốt lõi chủ yếu là quản lý model dễ dàng, tôi nghĩ giá trị của nó đang bị thổi phồng so với mức độ chú ý và ca ngợi mà nó nhận được.
  • Sau giai đoạn thử nghiệm ban đầu, cuối cùng bạn vẫn phải triển khai model vào môi trường production. Vấn đề không phải là ghi công cho llama.cpp, mà là sản phẩm này đang nhận được quá nhiều sự chú ý so với giá trị thực mà nó mang lại.

• Cảm ơn vì đã hỗ trợ RX 6800/6800 XT / 6900 XT

  • Thật vui khi cuối cùng có thể dùng những chiếc card đã mua với giá quá cao do tình trạng khan hiếm sau COVID cho công việc ML.
  • Cảm ơn dự án Ollama và llama.cpp.

• Thông báo cảnh báo liên quan đến AMD khi chạy Ollama

  • fooocus thì chạy được, nhưng khi chạy Ollama lại xuất hiện thông báo cảnh báo liên quan đến driver AMD trên Linux.
  • Vì không có thư viện ROCm nên nó chuyển sang dùng CPU.
  • Tôi cần kiểm tra cách cài lại ROCm trên Arch Linux.

• Phản ứng tích cực trước việc CUDA giảm bớt lợi thế cạnh tranh

  • Càng có nhiều dự án như thế này thì CUDA càng bớt quan trọng, và lợi thế cạnh tranh của Nvidia càng suy giảm.

• Phần mềm LLM chạy cục bộ thúc đẩy việc mua phần cứng mới

  • Các card cũ như RX 570/580 không được hỗ trợ, và dù phần cứng mới mạnh hơn nhiều, tôi vẫn nghĩ sẽ không cần card quá mới vì CUDA ra mắt năm 2007 còn ROCm ra mắt năm 2016.

• Trải nghiệm sử dụng Ollama rất đơn giản

  • Tôi chưa từng có kinh nghiệm chạy model cục bộ trước đây, nhưng trên Ubuntu 22 với card 7600 thì nó hoạt động ngay, rất tuyệt.

• Thắc mắc về việc tận dụng OpenCL

  • OpenCL hiếm khi được dùng so với Cuda, nên tôi tò mò họ đã triển khai thành công việc này như thế nào.
  • Tôi đã trả một khoản tiền khá lớn cho card 4090, nhưng vẫn ước là mình có thêm lựa chọn khác.

• Giá card NVidia và nỗ lực cải thiện hỗ trợ AMD

  • Trong bối cảnh các card NVidia cao cấp có giá rất cao và khó mua, có vẻ đang có rất nhiều nỗ lực để cải thiện hỗ trợ cho AMD.