AI open-weight đang có “khoảnh khắc Kubernetes” của riêng mình

 (tobi.knaup.me)
1 điểm bởi GN⁺ 3 giờ trước | 1 bình luận | Chia sẻ qua WhatsApp
  • Các mô hình open-weight có đủ hiệu năng và tính di động có thể trở thành nền tảng để nhà phát triển, đám mây và doanh nghiệp cùng mở rộng, qua đó tạo ra một hệ sinh thái đổi mới mà một nhà cung cấp đơn lẻ khó lòng theo kịp
  • Giống như Kubernetes đã tập hợp các công cụ mạng, lưu trữ và quan sát được trên một giao diện chung, trong AI cũng đang phát triển một production stack trải dài từ model serving, fine-tuning, agent runtime đến đánh giá
  • Các mô hình công khai trên Hugging Face đã vượt 2 triệu, GLM-5.2 đạt 62.1% trong bài đánh giá SWE-bench Pro nội bộ, vượt 58.6% của GPT-5.5, còn Kimi K3 cũng đạt điểm tương đương Opus 4.8 và GPT-5.5 trong đánh giá độc lập
  • Nếu cấm trên diện rộng các mô hình open-weight từ Trung Quốc, trong khi hoạt động phát triển trên thế giới vẫn tiếp diễn, chỉ các nhà nghiên cứu và doanh nghiệp Mỹ bị loại khỏi hệ sinh thái, còn đổi mới có thể tiếp tục tích lũy quanh các mô hình Trung Quốc vốn chiếm 41% lượt tải trên Hugging Face trong 1 năm qua
  • Thay vì cấm đoán, Mỹ nên cạnh tranh bằng cách công khai các mô hình tuyến đầu có thể khai thác thương mại, ưu tiên tính di động và khả năng tương tác trong mua sắm chính phủ, xây dựng toàn bộ lớp công cụ và vận hành, cùng với kiểm thử an toàn độc lập và các tiêu chuẩn

Sức mạnh của nền tảng mở mà Kubernetes đã chứng minh

  • Mesosphere phát triển phần mềm cloud-native mã nguồn mở dựa trên Apache Mesos, rồi xây dựng DC/OS xung quanh nó và thương mại hóa dưới dạng bản phân phối doanh nghiệp gồm hỗ trợ và các tính năng độc quyền
  • Sau đó, Kubernetes — một dự án mã nguồn mở mới hơn và hoàn chỉnh hơn — đã tập hợp cộng đồng cloud-native và làm rung chuyển Mesosphere
    • Các kỹ sư hạ tầng và hệ thống phân tán hàng đầu thế giới đã đặt sự nghiệp vào Kubernetes, và một phần thành viên trung thành của cộng đồng Mesosphere cũng chuyển sang
    • Khi trung tâm đổi mới chuyển sang Kubernetes, các thành phần còn thiếu như mạng, lưu trữ, quan sát được, công cụ triển khai và policy engine đã được phát triển rất nhanh
  • Với sự tham gia của nhiều startup và nhà cung cấp hiện hữu, gần như mọi thành phần cần thiết để vận hành Kubernetes trong môi trường production đều được cung cấp dưới dạng mã nguồn mở
    • Các nhà cung cấp đám mây cùng Mesosphere/D2iQ, Rancher, Red Hat và Nutanix đã xây dựng hoạt động kinh doanh xoay quanh tích hợp, tính năng doanh nghiệp, hỗ trợ và vận hành
  • Thành công của Kubernetes không đơn thuần là kết quả của việc công khai kho mã
    • Nó đã trở thành một nền tảng trung lập để kỹ sư, nhà cung cấp đám mây và nhà cung cấp doanh nghiệp có thể mở rộng theo nhu cầu khách hàng
    • Giao diện chung và quản trị trung lập với nhà cung cấp mang lại niềm tin rằng các bên tham gia có thể xây dựng sản phẩm trong dài hạn
  • Khi một nền tảng mở có thể tùy biến trở thành trung tâm của ngành, một nhà cung cấp đơn lẻ sẽ khó theo kịp tốc độ đổi mới tổng hợp của cả hệ sinh thái

Khác biệt giữa open-weight và AI mã nguồn mở

  • Phần lớn các mô hình thường được gọi là mã nguồn mở thực ra chính xác hơn là mô hình open-weight
    • Các tham số đã huấn luyện có thể được tải về và chỉnh sửa, nhưng dữ liệu huấn luyện và toàn bộ quy trình huấn luyện thường không được công khai
    • Vì vậy, chúng chưa đáp ứng định nghĩa Open Source AI của Open Source Initiative
  • Dù không phải mã nguồn mở hoàn chỉnh, vẫn có thể hình thành một hệ sinh thái xung quanh các đầu ra mà người dùng có thể chạy và chỉnh sửa
  • Cấu trúc của Kubernetes và AI cũng có những khác biệt quan trọng
    • Người đóng góp cho Kubernetes có thể kiểm tra và chỉnh sửa mã nguồn thực tế, rồi đưa các cải tiến trở lại dự án upstream dùng chung
    • Kết quả fine-tuning mô hình thường không được chia sẻ theo cách đó
    • Ngay cả khi có thể tải trọng số của các mô hình tuyến đầu, việc chạy chúng vẫn có thể đòi hỏi phần cứng đắt đỏ
    • AI không có một tổ chức kiểu CNCF cung cấp quản trị trung lập và giao diện chung
  • Điểm chung của hai hệ sinh thái là: nếu nền tảng cơ sở có đủ hiệu năng và tính di động, nó sẽ thu hút đổi mới bổ trợ vượt ra ngoài phạm vi mà riêng nhà sáng tạo ban đầu có thể tự làm

Từ self-hosting đến nền tảng mô hình

  • Lý do đầu tiên để áp dụng các mô hình open-weight là self-hosting
    • Doanh nghiệp muốn chạy mô hình trong đám mây riêng hoặc trung tâm dữ liệu của mình trong khi vẫn trực tiếp kiểm soát dữ liệu
    • Khi mức sử dụng và chi phí suy luận tăng lên, nhu cầu trực tiếp kiểm soát chi phí cũng lớn hơn
  • Từ nhu cầu này đã hình thành các model serving stack mã nguồn mở như vLLM, SGLang, llama.cpp, Ollama và MLX
  • Open-weight vượt ra ngoài self-hosting, cho phép nhà phát triển sửa đổi chính mô hình và phân phối lại
  • Trên Hugging Face hiện có hơn 2 triệu mô hình công khai
  • Xung quanh các họ mô hình phổ biến như Qwen và Gemma đã xuất hiện nhiều đầu ra phái sinh
    • Trọng số lượng tử hóa/chuyển đổi cho các kiến trúc bán dẫn và quy mô khác nhau
    • Các mô hình fine-tuning và bộ điều hợp LoRA cho coding, y học, pháp lý, toán học và workflow tác tử
    • Model merge kết hợp các kết quả fine-tuning khác nhau
    • Các biến thể mô hình phù hợp với nhiều runtime như TensorRT-LLM, vLLM và MLX

Tuyến đầu và khoảng cách hiệu năng đang thu hẹp

  • Trước đây, hiệu năng nền tảng của các mô hình mở chưa đủ cho những tác vụ coding và agent khó nhất nên dễ bị loại khỏi cuộc cạnh tranh tuyến đầu, nhưng khoảng cách đó đang thu hẹp rất nhanh
  • Z.ai đã phát hành GLM-5.2 với trọng số công khai theo giấy phép MIT
    • Điểm SWE-bench Pro trong đánh giá nội bộ của hãng là 62.1%, cao hơn 58.6% của GPT-5.5
    • Tuy vậy, kết quả có thể thay đổi tùy benchmark và agent harness
  • Moonshot cho biết Kimi K3 đã tiệm cận các mô hình tuyến đầu đóng trong các tác vụ coding dài hạn và hứa công khai trọng số vào ngày 27 tháng 7
  • Khi hiệu năng của mô hình nền tảng đủ mạnh, agent runtime, coding harness, sandbox, đánh giá, quan sát được và các dự án fine-tuning chuyên biệt có thể phát triển dây chuyền
  • Những thành phần này tạo nên một ngăn xếp mở cấp production có thể điều chỉnh theo khối lượng công việc, phần cứng và cấu trúc chi phí của từng nhóm
    • Đây là cấu trúc chạy các mô hình open-weight trên phần mềm mã nguồn mở
    • Không thể đảm bảo sẽ thắng mọi mô hình đóng trong mọi benchmark
  • AI tuyến đầu là cuộc cạnh tranh nhân tài, và hệ sinh thái mở tạo ra lý do để nhân tài trên khắp thế giới cùng phát triển trên một nền tảng chung

Tác động của việc cấm mô hình Trung Quốc đối với Mỹ

  • Sau khi các mô hình Trung Quốc mạnh mẽ như Kimi K3 xuất hiện, có thông tin cho rằng chính quyền Trump đang xem xét các hạn chế đối với các mô hình open-weight từ Trung Quốc
    • Hiện vẫn chưa rõ một lệnh cấm tiềm năng sẽ có hình thức như thế nào
  • Nếu cấm trên diện rộng việc sử dụng các mô hình open-weight từ Trung Quốc, các nhà nghiên cứu và doanh nghiệp Mỹ có thể tự tách mình khỏi hệ sinh thái nơi các nhà nghiên cứu và kỹ sư AI hàng đầu thế giới đang tụ hội
    • Nhiều nhà nghiên cứu Trung Quốc cũng đang tham gia hệ sinh thái này
    • Hoạt động phát triển trên toàn cầu vẫn tiếp tục, nhưng chỉ các nhà phát triển Mỹ là không thể tiếp cận
  • Xung quanh Qwen đã thấy xu hướng tương tự
    • Theo Hugging Face, trong 1 năm qua các mô hình Trung Quốc chiếm 41% tổng lượt tải mô hình
  • Nếu các mô hình open-weight tốt nhất tiếp tục đến từ Trung Quốc, thì cũng như với Kubernetes, công cụ và đổi mới có thể tích lũy quanh chính các mô hình đó

Bốn cách để Mỹ cạnh tranh

  • Công khai các mô hình Mỹ cấp tuyến đầu

    • Các phòng thí nghiệm Mỹ nên công khai các mô hình open-weight cấp tuyến đầu với giấy phép cho phép startup xây dựng sản phẩm thực tế
    • Một số tiến triển đã xuất hiện
    • NVIDIA Nemotron có thể được dùng thương mại theo giấy phép cởi mở của NVIDIA
    • Inkling của Thinking Machines, gpt-oss của OpenAI và Gemma 4 của Google được phát hành theo Apache 2.0
    • Tuy nhiên, các mô hình mạnh nhất của phần lớn phòng thí nghiệm tuyến đầu Mỹ, bao gồm cả các mô hình hiệu năng cao nhất của OpenAI và Google, vẫn là mô hình đóng

  • Tạo thị trường mở bằng mua sắm chính phủ

    • Mua sắm chính phủ nên tạo ra nhu cầu cho các hệ thống có tính di động và khả năng tương tác, thay vì các hệ thống phụ thuộc vĩnh viễn vào một nhà cung cấp API
    • Bộ Quốc phòng Mỹ đã sử dụng cách tiếp cận tương tự
    • Platform One cung cấp các công cụ mã nguồn mở và sản phẩm doanh nghiệp làm nền tảng cho nhiều chương trình quân sự
    • Cùng một cách mua sắm như vậy có thể tăng tốc đổi mới quanh các mô hình open-weight

  • Xây toàn bộ stack ngoài mô hình

    • Doanh nghiệp Mỹ cũng cần xây dựng các lớp còn lại bao quanh mô hình
    • Startup có thể tùy biến, mở rộng và nhúng mô hình vào sản phẩm
    • Lớp serving, công cụ, hỗ trợ và vận hành cũng là cơ hội kinh doanh
    • Các công ty bán dẫn lớn của Mỹ có thể tiếp tục cải tiến phần cứng, còn hyperscaler và neocloud có thể phục vụ các mô hình và hệ sinh thái

  • Đưa vào kiểm thử và tiêu chuẩn thay vì cấm

    • An toàn là lý do mạnh nhất để ủng hộ hạn chế, nhưng lệnh cấm toàn diện là quá rộng và đánh đổi cả khả năng tiếp cận toàn bộ hệ sinh thái
    • Phản ứng tốt hơn là xây dựng các bài kiểm thử và tiêu chuẩn độc lập dành cho các mô hình tuyến đầu
    • Bài kiểm thử tương thích Kubernetes xác minh khả năng tương thích chứ không phải an toàn, nên không phải ví dụ khớp hoàn toàn với AI
    • Tuy vậy, các tiêu chí độc lập và mô hình quản trị của nó vẫn đáng tham khảo
    • Demis Hassabis đã đề xuất một cơ quan tiêu chuẩn độc lập do Mỹ dẫn dắt theo hướng tương tự

Chiến lược cạnh tranh trong hệ sinh thái AI mở

  • Thay vì dựng rào cản quanh các nhà phát triển trong nước, Mỹ nên trực tiếp chạy các mô hình Trung Quốc, phân tích bên trong, benchmark và cải tiến chúng
  • Đồng thời, Mỹ cần xây dựng các phương án thay thế nội địa tốt hơn để biến AI stack của mình thành lựa chọn dễ áp dụng nhất trên thế giới
  • Trong nhiều thập kỷ, Mỹ đã cung cấp không gian để thu hút và nuôi dưỡng những nhân tài công nghệ giỏi nhất thế giới
  • Nếu biến lợi thế đó thành một hệ sinh thái khép kín trong khi các nước khác áp dụng stack cởi mở hơn làm tiêu chuẩn, Mỹ sẽ tự từ bỏ vị thế dẫn đầu AI của mình

Bài viết liên quan

1 bình luận

 
GN⁺ 3 giờ trước
Ý kiến trên Hacker News

  • Cấm mô hình Trung Quốc có vẻ là điều bất khả thi về mặt kỹ thuật. Trọng số chỉ là các con số nên không thể phân biệt đâu là hàng Mỹ hay hàng Trung Quốc, và lệnh cấm dựa trên xuất xứ cũng rất dễ bị lách
    Cuối cùng sẽ phải quản lý mọi mô hình có trọng số công khai, và Axios cũng từng đưa tin rằng cứ mỗi 3~5 tháng, các phòng thí nghiệm AI lớn hoặc những người liên quan lại đề xuất với chính quyền việc cấm mô hình mã nguồn mở
    Có thể ép áp dụng một hệ thống giấy phép giống DRM để chỉ các mô hình Mỹ đã được chứng thực mới được chạy trên máy chủ riêng, nhưng như vậy sẽ trao độc quyền cho các phòng thí nghiệm lớn và còn chặn cả việc phân phối mô hình phái sinh. Việc thực thi ở nước ngoài cũng khó, nên rất có thể rốt cuộc chỉ người Mỹ bị hạn chế

    • Lệnh cấm mô hình mã nguồn mở sẽ nhanh chóng va chạm với Tu chính án thứ nhất giống như phần mềm trước đây. Lá cờ DeCSS thời hiện đại có thể sẽ mang dạng văn bản: “Tôi nghĩ trọng số tốt là {...weights go here...}”
      Thay vào đó, có thể cấm việc thanh toán tiền cho dịch vụ suy luận hoặc dịch vụ AI của các công ty Trung Quốc hay doanh nghiệp do công ty Trung Quốc sở hữu
    • Nếu chính phủ Mỹ đưa các công ty mô hình công khai của Trung Quốc vào Entity List, thì mọi công ty có làm ăn với Mỹ sẽ không thể giao dịch với họ. Dù khó xác định hoàn hảo nguồn gốc mô hình, hình phạt rất nặng nên các công ty Mỹ có lẽ sẽ không chỉ tránh cung cấp hay sử dụng các mô hình Trung Quốc rõ ràng mà còn không dám thử cả đường vòng
    • Chỉ cần cơ quan chính phủ lập danh sách mô hình của Hugging Face và cấm cung cấp quyền truy cập là đủ. Ngay cả khi không có câu chữ pháp lý đáng sợ, chỉ riêng danh sách cấm cũng sẽ khiến các công ty Mỹ và nhà cung cấp dịch vụ lưu trữ không chạy những mô hình đó trên máy chủ
    • Có thể buộc các công ty Mỹ tuân thủ để gỡ mô hình khỏi Hugging Face, nhưng nếu xuất hiện dịch vụ thay thế ở nước ngoài thì mọi người sẽ chuyển hết sang đó. Cuối cùng đây sẽ là kết quả gây hại cho Mỹ
    • Mô hình cũng là phần mềm, nên có thể cấm sử dụng trong các môi trường bảo đảm cao cần chứng nhận FedRAMP. Nhưng Mỹ không có Great Firewall, nên không thể ngăn hoàn toàn việc đưa chúng vào qua Internet

  • Một trong những điều kỳ lạ nhất của ngành AI là cơ chế định giá theo token. Không rõ vì sao đầu năm 2023 GPT-4 lại rất đắt, rồi 6 tháng sau chỉ với 20 USD đã có thể dùng được lượng suy luận khá lớn; giá của nhiều phòng thí nghiệm và nhà cung cấp cũng đã lên xuống suốt nhiều năm mà không có cơ sở rõ ràng
    Các mô hình có trọng số công khai ít nhất cũng tạo ra một đường cơ sở cho chi phí suy luận, giúp giá cả hợp lý hơn và tăng tính dự đoán. Dù Kimi K3 ra mắt, nếu muốn thì vẫn có thể tiếp tục dùng K2, nên áp lực cạnh tranh và tính bền vững của mô hình công khai rất hữu ích cho người dùng

    • Giá được quyết định theo mức thị trường có thể chấp nhận trong bối cảnh tài nguyên tính toán sẵn có và môi trường cạnh tranh, và chỉ có thể tìm ra bằng cách thử nhiều mức giá. Trong khi các nhà cung cấp đang thử nhiều gói cước và giảm giá khác nhau thì nhu cầu cũng đang biến động
      Nếu đã quen với một thị trường trưởng thành ổn định thì điều này có thể gây rối, nhưng biến động giá ở thị trường mới nổi là đặc điểm rất thường thấy
    • Giống như sau khi GPT-5 ra mắt đã có phản ứng mạnh vì GPT-4o bị khai tử, mỗi mô hình đều có đặc tính riêng và trong một số trường hợp, mô hình cũ có thể tốt hơn mô hình mới nhất. Xét việc các phòng thí nghiệm có vẻ không muốn cung cấp bản phát hành LTS, khả năng tiếp tục chạy các mô hình cũ là điều đặc biệt quan trọng
    • Ảnh hưởng của FlashAttention là cực kỳ lớn
    • Giống như thuốc kê đơn đắt còn thuốc generic rẻ, đây có thể là việc thổi giá nhân tạo để thu hồi chi phí nghiên cứu và phát triển
    • Cũng còn nghi ngờ liệu họ có thực sự giảm giá chính GPT-4 hay không. Các phiên bản cũ của API vẫn rất đắt, chỉ là giá giảm khi các mô hình mới như Turbo xuất hiện
      Việc tất cả đều có gpt-4 trong tên không có nghĩa là cùng một mô hình nội bộ, và có thể họ đã thay đổi đáng kể để giảm chi phí dịch vụ

  • Để đạt tới vị thế như Kubernetes, có lẽ cần có mô hình AI với dữ liệu huấn luyện được công khai do nhiều công ty cùng phát triển. Giống như các công ty cùng đóng góp cho Linux, AI là thứ cần cho kinh doanh nhưng tự phát triển thì quá đắt, nên dùng mô hình công khai và đóng góp các tính năng cần thiết có thể là cách hợp lý

  • OpenAI khi đó cũng đã công bố hai mô hình mã nguồn mở rất tốt theo tiêu chuẩn thời điểm ấy. Mô hình 20B rất tuyệt để rà soát văn bản hay viết nháp script Bash tại nhà, nhưng 120B thì khó chạy trên phần cứng tiêu dùng với tốc độ token mỗi giây thực tế
    Tuy vậy, sẽ tốt hơn nếu OpenAI cập nhật thường xuyên hơn các mô hình này

    • gpt-oss-120b chạy ở hơn 30 token/giây trên Strix Halo và hơn 75 token/giây trên MacBook Pro M5 Max 128GB
      Hậu duệ tinh thần có vẻ là dòng Nemotron 3, nhưng cái này cũng đã hơi cũ: https://research.nvidia.com/labs/nemotron/Nemotron-3/
      Cũng có Gemma 4 mới hơn: https://huggingface.co/collections/google/gemma-4
      Hoặc có thể chọn Qwen3.6: https://huggingface.co/collections/Qwen/qwen36
    • Sam Altman đã viết trong email gửi hội đồng quản trị, 2 năm rưỡi sau khi GPT-3 ra mắt, rằng nếu tạo ra một mô hình cấp độ GPT-3 chạy cục bộ thì có thể ngăn người khác công bố mô hình cùng cấp và khiến các dự án kinh doanh mới khó gọi vốn hơn
      Trung Quốc công bố mô hình mở để nâng mặt bằng công nghệ, còn OpenAI và Sam thì công bố với mục đích đè đối thủ, đó là điểm khác biệt
    • Mô hình của OpenAI là ổn, nhưng vào thời điểm phát hành thì không cạnh tranh hơn nhiều so với các lựa chọn khác như Qwen3 Coder A3B. Nếu là startup, có nhiều lý do để chọn Qwen3, vốn đã cung cấp nhiều đợt cập nhật trọng số công khai, thay vì mô hình đầu tiên của OpenAI vốn đã lâu không có hậu bản
      Với các startup muốn mô hình tiên phong của các phòng thí nghiệm Mỹ, chu kỳ phát hành hiện tại là không bền vững. Nếu Mỹ không muốn nhường hẳn thị trường này, OpenAI và các bên khác phải nhanh chóng tăng tốc

  • Cho đến khi Trung Quốc mở rộng sản xuất phần cứng, tự chạy vẫn chưa kinh tế, nhưng việc các mô hình mở gây áp lực lên các lab là tín hiệu tích cực. Cuối cùng, khi điện thoại có thể chạy các mô hình đủ dùng cho phần lớn tác vụ, Apple sẽ thắng

    • Model-on-Chip đang đến gần. GPU là thiết bị tính toán đa dụng nên có nút thắt lớn với suy luận mô hình, còn mô hình khắc sẵn trên chip thì dù không thể cập nhật nhiều vẫn mang lại lợi thế hiệu năng rất lớn
      Cũng không cần quy trình bán dẫn tiên tiến nhất, nên có thể giảm chi phí mạnh
    • Khi đó gần như là dấu chấm hết cho các hyperscaler và Oracle, nên tôi rất mong ngày đó đến
    • Theo mức giá trước bong bóng, Strix Halo 128GB có giá 1.400 USD và dùng khoảng 200W; ghép bốn máy lại có thể chạy một mô hình biên giới 1 nghìn tỷ tham số: https://www.amd.com/en/developer/resources/technical-article...
      Nếu tính theo 7 tháng phí thuê bao Claude Code cho mỗi node thì hoàn vốn sau 28 tháng, và nếu khấu hao trong 5 năm thì gần như có thể dựng hai cụm ở mức chi phí hòa vốn để xử lý hai luồng yêu cầu đồng thời
      Phần cứng thế hệ tiếp theo đã được công bố, dự kiến ra mắt sau khoảng hai chu kỳ của định luật Moore, và mức giá ổn định có khả năng vẫn dưới 1.400 USD theo giá trị năm 2024 nhưng nhanh hơn
      Khi bong bóng tài chính xẹp xuống và các lab ngừng mua phần cứng datacenter, suy luận cục bộ sẽ rẻ hơn thuê bao và trở nên rất thực dụng. Khi đó tôi tò mò không biết UNIX Surplus sẽ bán rẻ server suy luận như sau vụ sụp đổ dotcom hay không, hay nhu cầu điện sẽ quá đặc thù cho gia đình
    • Với các tác vụ ngoài coding, chỉ cần chạy mô hình lượng tử hóa qua đêm là đáp ứng được phần lớn nhu cầu
    • Tôi chạy mô hình trên desktop ở nhà và dùng qua ứng dụng điện thoại, tùy mô hình và mục đích mà đạt 60~140 token/giây. Đủ nhanh để duy trì hội thoại giọng nói

  • Việc chính phủ tạo nhu cầu bằng cách mua sắm các hệ thống có thể di chuyển và tương tác liên thông thay vì bị khóa vĩnh viễn vào một nhà cung cấp API cụ thể là một hướng đi có giá trị. Không chỉ chính phủ liên bang mà cả các bang như California, Colorado, Illinois, New York cũng có thể làm điều đó

  • Tôi tò mò về cấu hình thực tế để làm agentic coding với mô hình public-weight. Muốn biết họ dùng công cụ chạy nào, mô hình nào, chi phí hàng tháng bao nhiêu, và so với các gói trợ giá như Claude Code hay Pro thì thế nào
    Tôi muốn kiểm chứng liệu việc nói mô hình mở rẻ và hiệu quả có đúng trong thực tế không

    • Trước đây tôi dùng công cụ chạy tùy biến, nhưng công cụ đã tốt hơn nên cấu hình được đơn giản hóa nhiều. Mô hình nền tảng cũng thất bại ở các phần khó của code nên tôi chỉ dùng khi có cơ hội phù hợp
      Tôi dùng ba mô hình cục bộ trong Zed: Qwen 3.6 27B ngữ cảnh 128K trên llama.cpp với một RTX 3090 cho khoảng 50 token/giây, Qwen 3.6 35B-A3B toàn bộ ngữ cảnh trên llama.cpp với một Titan V và hai GTX 1080 Ti cho khoảng 30 token/giây, còn GPT-OSS 120B chạy chậm trên CPU
      Tôi dùng agent song song của Zed để chuyển tác vụ, và khi mô hình bị kẹt thì dừng lại sửa code. Cách này giúp tôi giữ tập trung, tạo code có thể bảo trì và đạt khoảng 80% mục tiêu
      Tôi có 30 năm kinh nghiệm và luôn muốn hiểu rõ code hoạt động thế nào, nên đang nhận được phần lớn lợi ích ngắn hạn mà không phải phụ thuộc vào bên thứ ba để thúc đẩy tiến độ code. Hai GTX 5060 Ti 16GB có lẽ sẽ đạt khoảng 100 token/giây với Qwen 3.6 35B-A3B bằng các card phổ biến, dễ mua
      Các mô hình cloud mới nhất dùng draft token các thứ nên rất tốt cho coding thông thường, nhưng hiệu năng giảm ở các tác vụ chuyên biệt theo lĩnh vực. Vì mô hình draft chỉ bằng 10~20% kích thước mô hình nền và ngay cả GPU Blackwell cao cấp nhất cũng bị giới hạn khoảng 250 token/giây, nên để mở rộng hiệu năng ở mức nền tảng vẫn cần MoE hoặc mô hình draft
      Nhưng nhu cầu của tôi là các bài toán ngoài phân phối (OOD) hoặc những vấn đề có ít ví dụ trong corpus huấn luyện, nên các tối ưu kiểu này lại bất lợi. Gần giống tình huống cần một chiếc minivan hơn là Lamborghini
    • Tôi đang dùng công cụ tự chạy với Ryzen 5950X, RAM 128GB, RTX 3060 12GB và qwen 3.6 35B unsloth 4 bit
      Với ngữ cảnh 10K thì đạt khoảng 40 token/giây khi sinh và khoảng 500 token/giây khi prefill; với ngữ cảnh 100K thì khoảng 25 token/giây khi sinh và khoảng 400 token/giây khi prefill
      Tôi thường dùng GPT hoặc Claude để lập kế hoạch chi tiết theo từng bước rồi để Qwen làm theo. Tôi không chắc có kinh tế hay không, nhưng phần cứng thì tôi đã có sẵn và nhờ điện mặt trời trên mái nhà nên điện năng không phải vấn đề lớn
      Ưu điểm lớn nhất là tôi có thể chắc chắn mọi thứ diễn ra hoàn toàn cục bộ, và công cụ chạy không upload hay thu thập telemetry từ xa
    • Tôi dùng Kimi K3 và OpenCode, theo giá API trả theo mức dùng thì khi dùng liên tục, 1~2 session tiêu thụ khoảng 10 triệu token mỗi giờ và khoảng 5 USD
      Tôi không so với thuê bao vì không thích giới hạn và cách vận hành của các gói đó. Nó chậm hơn thấy rõ so với Fable, Opus, Gemini, nhưng rẻ hơn rất nhiều so với phí API của chúng
    • Tôi đang dùng GLM-5.2 với gói Ollama Cloud 20 USD/tháng. Từ cùng gói đó tôi lấy nhiều API key để dùng cho server OpenWebUI, OpenCode và các session phát triển trên Pi, và thường chạy đồng thời 2~4 session mà vẫn không chạm giới hạn
      Ở chỗ làm thì họ cung cấp Claude, và tôi được báo rằng phí dùng Opus là 75 USD mỗi giờ làm việc
    • Tôi đã dùng GLM 5.2 awq4 trong OpenCode; nó tốt hơn Sonnet 4.8 mà công ty tôi ưa dùng, hơi kém hơn Opus 4.8, nhưng đủ cho phần lớn công việc mà đội phát triển cần. Nó không bằng Sonnet 5, nhưng token thì không cạn
      Ngược lại, để chạy nó cần bốn H200, và với cấu hình này chỉ khoảng ba người có thể cache ngữ cảnh
      Tôi đang chờ thiết bị Blackwell đến nơi và chờ trọng số Kimi 3 thực sự được công khai. Ở điểm mà các lập trình viên phải đốt một phần đáng kể lương vào token, tự mua server DGX đắt vô lý, đặt lên rack và vận hành lại rẻ hơn

  • Cách diễn giải rằng chính phủ Trung Quốc hỗ trợ việc huấn luyện và công bố các mô hình hàng đầu để gây áp lực cạnh tranh công khai lên OpenAI và Anthropic là khó tin. Đúng hơn, điều này trông giống một phương tiện để tăng cường học tăng cường cho các mô hình tối tân sao cho phù hợp với cách thức phân phối thông tin được chính phủ Trung Quốc phê duyệt
    Nếu phải tin vào một hệ thống mờ đục trả lời câu hỏi, tôi sẽ chọn mô hình của các công ty niêm yết vì lợi nhuận của Mỹ chịu áp lực thị trường hơn là mô hình được chính phủ Trung Quốc phê duyệt và trợ cấp quy mô lớn

    • Điều này phù hợp với chiến lược Trung Quốc dùng ở các thị trường khác: bán phá giá sản phẩm để loại bỏ đối thủ cạnh tranh. Nếu đang chịu lỗ lớn trên mỗi token, đối thủ thù địch cũng có thể ác ý tăng mức tiêu thụ để đẩy chi phí lên
      Bán phá giá hàng hóa vật lý bị giới hạn bởi nhu cầu hữu hạn và chi phí môi trường lớn, nhưng nhu cầu phần mềm về cơ bản là vô hạn và chi phí môi trường so với chi phí sản xuất cũng thấp hơn, nên có thể xảy ra khai thác ngược chiến lược bán phá giá AI
    • Tôi tò mò công cụ nào có thể đối phó với thiên kiến được nhà nước hậu thuẫn của các mô hình Trung Quốc. Nếu cá nhân có thể dễ dàng hiệu chỉnh thiên kiến thì đây không có vẻ là một chiến lược khôn ngoan

  • Người ta đang xem giả định rằng Trung Quốc sẽ tiếp tục đưa trọng số mô hình tuyến đầu lên Hugging Face trong tương lai như một định luật tự nhiên. Nhưng thời điểm Mythos của Trung Quốc đang đến gần chỉ trong vài tháng nữa, và theo nhiều bản tin thì khả năng cao Trung Quốc cũng sẽ phản ứng tương tự
    Khó mà tin rằng sau phần tiếp theo của Mythos, Trung Quốc vẫn sẽ đưa nó lên Hugging Face và cho phép mọi người gỡ bỏ các cơ chế an toàn. Mọi thứ đã không diễn ra như OpenAI và Anthropic dự đoán, cũng không diễn ra như Trung Quốc dự đoán

    • Cũng có thể họ sẽ công khai đầy đủ. Cần nhìn vào những trường hợp Trung Quốc cung cấp hạ tầng như đường sá và trường học để đổi lấy nhà máy lọc dầu và quyền khai thác dầu trên khắp châu Phi: https://oilprice.com/Energy/Crude-Oil/China-Is-Rapidly-Expan...