Token AI di chuyển qua trung tâm dữ liệu như thế nào

• Đến năm 2026, suy luận AI đã mở rộng lên khoảng hai phần ba tổng năng lực tính toán AI, chiếm 80~90% chi phí tính toán trong vòng đời của các mô hình đã triển khai, nên chi phí xử lý token và độ trễ quyết định tính kinh tế của hạ tầng
• Một yêu cầu đi qua lộ trình 15 bước từ token hóa, API gateway, xác thực, định tuyến, lập lịch, bộ nhớ đệm KV, GPU·HBM, kernel CUDA, NVLink·switch·NIC·Ethernet rồi quay về thành phản hồi
• Prefill xử lý đầu vào theo kiểu song song bị ràng buộc bởi lượng tính toán và độ trễ token đầu tiên, còn decode tạo token từng cái một bị ràng buộc bởi băng thông bộ nhớ và tốc độ·chi phí sinh token, vì vậy batching·lượng tử hóa·suy luận giải mã suy đoán nhắm vào các nút thắt khác nhau
• Continuous batching và PagedAttention nâng cao mức sử dụng GPU và thông lượng đồng thời, caching prompt có thể giảm tới 90% chi phí cho đầu vào lặp lại và giảm khoảng 85% độ trễ của prompt dài, còn tách prefill·decode cho phép vận hành các pool GPU theo từng giai đoạn
• Chi phí để cung cấp chất lượng cố định đã giảm trung vị khoảng 200 lần mỗi năm, nhưng thông lượng tăng gấp 7 lần; giá trị dài hạn tập trung vào các nút thắt vật lý như băng thông HBM·mạng liên kết NVLink·linh kiện quang học·điện năng và các nền tảng suy luận đã chuyển hiệu suất thành mức độ khóa chặt khách hàng

---

Vì sao suy luận trở thành trung tâm của kinh tế AI

• Chatbot, agent lập trình, tóm tắt tìm kiếm, chú thích ảnh đều là tác vụ sinh token lặp đi lặp lại việc dự đoán token kế tiếp bằng cách chạy lan truyền xuôi trên mô hình đã được huấn luyện; quá trình đó chính là suy luận
• Google công bố rằng vào tháng 5 năm 2026, trên toàn bộ dịch vụ của mình, hãng xử lý 3,2 triệu tỷ token mỗi tháng
  • Quy đổi theo năm thì tương đương khoảng 38 triệu tỷ tỷ token
  • Con số này cao gấp 7 lần mức 480 nghìn tỷ token mỗi tháng của một năm trước, và vào đầu năm 2024 là 9,7 nghìn tỷ token mỗi tháng
  • Đây là chi phí để phản hồi yêu cầu người dùng chứ không phải chi phí huấn luyện
• Tỷ trọng của suy luận trong tính toán AI đã tăng từ khoảng một phần ba năm 2023 lên một nửa năm 2025 và khoảng hai phần ba vào năm 2026
• Với các mô hình đã triển khai, suy luận là giá vốn lặp lại theo từng yêu cầu, và có quy tắc kinh nghiệm trong ngành cho rằng nó chiếm 80~90% chi phí tính toán trong toàn bộ vòng đời
• Chi tiêu vốn năm 2026 do 4 hyperscaler lớn đưa ra vào khoảng 725 tỷ USD, tăng 77% so với năm trước
  • Trong số này, hơn 60% không đổ vào chip mà vào điện năng, làm mát và công trình
  • Chỉ riêng thị trường silicon chuyên cho suy luận được dự báo sẽ vượt 50 tỷ USD trong năm 2026
• Có hai thay đổi đang làm nhu cầu suy luận tăng lên
  • Mở rộng thời gian suy luận và các hệ thống agent tiêu thụ nhiều token hơn 10~100 lần cho mỗi truy vấn
  • Workflow của agent đắt hơn 5~25 lần cho mỗi tác vụ so với một yêu cầu đơn lẻ do retry, gọi công cụ và nạp lại ngữ cảnh
• Chi phí để cung cấp một mức chất lượng cố định đã giảm trung vị khoảng 200 lần mỗi năm kể từ đầu năm 2024, nhưng token rẻ hơn lại mở ra nhiều tác vụ hơn, tạo ra nghịch lý Jevons khiến tổng mức sử dụng tăng lên
• Batching, paging, lượng tử hóa, suy luận giải mã suy đoán, phục vụ tách rời và network fabric đều là các kỹ thuật nhằm giảm chi phí trên mỗi token ở mức độ trễ mục tiêu

Bước 1~4: Chuyển văn bản thành tác vụ có thể đưa vào batch

• Bước 1: Người dùng và token hóa

  • Client gửi văn bản qua HTTPS, nhưng mô hình không nhận văn bản mà nhận đầu vào là các ID số nguyên
  • Tokenizer dựa trên BPE cấp byte chia chuỗi thành các token từ con, rồi ánh xạ từng token sang ID trong một từ vựng khoảng 100.000~200.000 mục
  • RFP 12.000 token và câu hỏi trong ví dụ trở thành một chuỗi phẳng gồm 12.022 ID số nguyên
  • Token hóa được thực hiện một cách tất định trên CPU và gần như không tốn chi phí, nhưng số token đầu vào·đầu ra quyết định số tiền bị tính phí
  • Cửa sổ ngữ cảnh 200.000~1.000.000 token của các mô hình frontier năm 2026 là giới hạn trên của kích thước tài liệu có thể đưa vào một lần

• Bước 2: API gateway

  • API gateway kết thúc TLS và sau khi phân tích yêu cầu sẽ thực hiện kiểm tra schema, quản lý phiên bản API, giới hạn yêu cầu thô, gán ID truy vết và ghi nhận sử dụng ban đầu
  • Với proxy cấp Envoy hoặc NGINX và web application firewall, nó xử lý hàng triệu yêu cầu mỗi giây mà không chạy logic mô hình
  • Ngân sách độ trễ là dưới 1 mili giây, và khoảng 5% lưu lượng tương ứng với lỗi định dạng, vượt quota hoặc yêu cầu mang tính tấn công sẽ bị từ chối trước khi chạm tới tài nguyên đắt đỏ

• Bước 3: Xác thực và hạng mức tính phí

  • Liên kết API key hoặc OAuth token với tổ chức để kiểm tra hạng giới hạn yêu cầu và trần chi tiêu, đồng thời xác định mức giá trên mỗi token sẽ được áp dụng
  • Điều kiện áp dụng giảm giá cho đầu vào được cache, tuyến ưu tiên xử lý và giá batch rẻ hơn cũng được quyết định ở bước này
  • Trong khi thiết lập ranh giới cô lập dữ liệu theo từng tổ chức và ngăn chặn lạm dụng, bước này biến các byte vô danh thành đơn vị công việc có thể đo lường, tính phí và cô lập

• Bước 4: Cân bằng tải

  • Bộ cân bằng tải thông thường dùng kiểm tra tình trạng và tín hiệu tải thời gian thực để phân phối yêu cầu tới các bản sao của cùng một mô hình
  • Với LLM, round-robin đơn giản sẽ gửi các yêu cầu có cùng system prompt hoặc tiền tố tài liệu tới các bản sao khác nhau, làm mất cơ hội tái sử dụng cache
  • Cân bằng tải AI hiện đại đang tiến hóa thành kiểu nhận biết cache, chọn bản sao có bộ nhớ đệm KV chứa cùng tiền tố, và vai trò của nó chồng lấn với bộ định tuyến suy luận ở bước kế tiếp
  • Khi toàn bộ thiết bị đã bão hòa, việc xếp yêu cầu vào hàng đợi hay trả về 429 cũng được quyết định ở bước này

Bước 5~6: Quyết định nơi thực thi và cách batching

• Bước 5: Bộ định tuyến suy luận

  • Bộ định tuyến suy luận chọn mô hình·silicon·bản sao trong vòng vài mili giây
  • Nó chọn cấu hình kinh tế nhất có thể đáp ứng mục tiêu mức dịch vụ trong số frontier 70B, 8B đã chưng cất, mô hình suy luận, hoặc các cặp mô hình draft·target
  • Nếu một yêu cầu có thể được đáp ứng bằng mô hình 8B mà lại xử lý bằng 70B thì sẽ bào mòn biên lợi nhuận một cách không cần thiết
  • Với prefill thiên về tính toán thì FLOPS quan trọng, còn decode thiên về bộ nhớ thì băng thông HBM quan trọng, nên ngay cả trong cùng một yêu cầu, GPU phù hợp cũng có thể khác nhau
  • Nếu gửi tới một instance có bộ nhớ đệm KV với cùng tiền tố, prefill 12.000 token có thể được biến thành một lần cache hit gần như miễn phí
  • Compiler và auto-tuner biên dịch trước và tinh chỉnh các kernel GPU phù hợp với mô hình·dạng đầu vào·chip, rồi khi runtime sẽ chọn kế hoạch thực thi rẻ nhất
  • Together AI, Fireworks, Baseten, Modular đang sản phẩm hóa việc chọn kernel·chip·độ chính xác ở lớp này và kiếm tiền từ hạ tầng suy luận riêng của họ

• Bước 6: Scheduler và continuous batching

  • Ở kích thước batch bằng 1, H100 bị ràng buộc bởi bộ nhớ hơn là tính toán, nên mức sử dụng streaming multiprocessor chỉ dừng ở khoảng 30~40%
  • Scheduler thông qua continuous batching sẽ thêm yêu cầu mới ở mỗi lần lan truyền xuôi và loại bỏ các chuỗi đã hoàn tất
  • Vì không cần đợi cho đến khi một nhóm yêu cầu cố định kết thúc, GPU có thể được lấp đầy liên tục
  • vLLM với cách này đạt thông lượng cao hơn 2~4 lần so với các hệ thống serving trước đó, và xử lý nhiều lưu lượng hơn 3~5 lần so với vòng lặp PyTorch đơn giản trên cùng một H100

Bước 7~8: Bộ nhớ đệm KV và quản lý bộ nhớ GPU

• Bước 7: Bộ nhớ đệm KV

  • Ở mỗi tầng attention, một vector Key và Value được tạo ra cho mỗi token, và token tiếp theo sẽ tham chiếu K/V của tất cả token trước đó
  • Nếu tính lại việc này mỗi lần, chi phí O(n²) sẽ phát sinh với ngữ cảnh dài, nên prefill tính K/V của 12.022 vị trí một lần và lưu vào bộ nhớ đệm KV
  • Sau đó, giai đoạn decode chỉ thêm một K/V của token mới và đọc bộ nhớ đệm hiện có
  • Bộ nhớ đệm KV tăng theo số lượng và độ dài của các chuỗi đồng thời, và là cấu trúc tiêu tốn bộ nhớ GPU lớn nhất và động nhất trong quá trình phục vụ

• PagedAttention và chống phân mảnh

  • Vì rất khó dự đoán độ dài chuỗi, việc cấp phát bộ nhớ liên tục có thể khiến 60~80% bộ nhớ không dùng được
  • PagedAttention / vLLM chia bộ nhớ đệm KV thành các trang kích thước cố định như bộ nhớ ảo của hệ điều hành
  • Chỉ cấp phát số khối vật lý cần thiết và nối chúng bằng bảng trang, nên không cần không gian liên tục
  • Các trang của chuỗi đã hoàn tất được trả lại ngay lập tức
  • Chuỗi của nhiều người dùng có thể chia sẻ an toàn và hiệu quả cùng một GPU
  • Cách quản lý bộ nhớ này là nền tảng cho mức tăng thông lượng 2~4 lần của vLLM

• Bộ nhớ đệm prompt·tiền tố

  • Với các yêu cầu lặp lại cùng system prompt, phần mở đầu few-shot hoặc tiền tố tài liệu, có thể tái sử dụng bộ nhớ đệm KV đã tính một lần
  • Anthropic cung cấp đọc bộ nhớ đệm với giá 0,30 USD cho mỗi 1 triệu token, bằng 0,1 lần giá đầu vào thông thường, trong khi đầu vào thông thường là 3 USD
  • OpenAI GPT-5.x cũng áp dụng giảm giá 90% khi đầu vào từ bộ nhớ đệm là 0,50 USD và đầu vào thông thường là 5 USD
  • Với prompt dài, độ trễ cũng giảm khoảng 85%, và các câu hỏi tiếp theo của RFP ví dụ không cần lặp lại prefill 12.022 token

• Bước 8: Ba thành phần của bộ nhớ GPU

  • Trong bộ nhớ đóng gói của GPU cùng tồn tại trọng số mô hình cố định, bộ nhớ đệm KV tăng theo số yêu cầu đồng thời và độ dài, cùng các activation và workspace tạm thời
  • Sau khi nạp trọng số, phần không gian còn lại trở thành ngân sách cho bộ nhớ đệm KV, nên trong nhiều trường hợp bộ nhớ chứ không phải lượng tính toán là yếu tố giới hạn số người dùng đồng thời
  • Mô hình 70B ở FP16 có kích thước khoảng 140GB nên cần hai H100 80GB, nhưng ở FP8 giảm xuống khoảng 70GB, đủ để chừa lại cả không gian bộ nhớ đệm KV trên một GPU
  • Bộ nhớ tiết kiệm được từ trọng số nhờ lượng tử hóa trực tiếp chuyển thành số người dùng đồng thời nhiều hơn

Bước 9~10: Nút thắt HBM và tối ưu kernel GPU

• Bước 9: Nút thắt khác nhau giữa prefill và decode

  • Prefill là phép nhân ma trận quy mô lớn xử lý song song 12.022 token đầu vào, làm bão hòa tensor core, và bị ràng buộc bởi lượng tính toán cùng thời gian đến token đầu tiên (TTFT)
  • Decode phải đọc toàn bộ trọng số mô hình và bộ nhớ đệm KV đang tăng dần từ HBM mỗi khi tạo ra một token tiếp theo
  • Với batch size 1, cường độ tính toán của decode chỉ khoảng 1 FLOP trên mỗi byte, thấp hơn rất nhiều so với ngưỡng roofline khoảng 410~590 FLOP/byte
  • Tensor core dành nhiều thời gian chờ bộ nhớ hơn là tính toán, và băng thông HBM quyết định trần trên của tốc độ sinh và chi phí

• Giảm độ chính xác

  • Giảm độ chính xác từ FP16 xuống FP8, FP4 làm giảm số byte trọng số phải đọc cho mỗi token, từ đó tăng thông lượng decode bị chi phối bởi bộ nhớ
  • NVIDIA NVFP4 là định dạng số thực dấu phẩy động 4 bit dành cho tensor core thế hệ thứ 5 của Blackwell
  • Nó cung cấp thông lượng số học cao hơn khoảng 2~3 lần so với FP8 và tiết kiệm bộ nhớ khoảng 1,8 lần
  • Đồng thời giữ chênh lệch so với độ chính xác chuẩn trong khoảng 1%
  • Nó góp phần tăng tốc suy luận đầu-cuối lên tới 5 lần so với Hopper

• Bước 10: Kernel CUDA và hợp nhất

  • Các phép toán trên GPU được thực hiện bằng kernel, tức những chương trình nhỏ chạy trên hàng nghìn lõi
  • Nếu chạy các phép toán của transformer bằng hàng trăm kernel riêng lẻ, mỗi kernel sẽ đọc dữ liệu từ HBM rồi lại ghi kết quả ra, tạo gánh nặng lớn cho các tác vụ bị chi phối bởi băng thông
  • Hợp nhất kernel gộp nhiều phép toán thành một, giữ dữ liệu trung gian trong SRAM trên chip và giảm truy cập HBM
  • FlashAttention sử dụng attention theo tile và softmax trực tuyến để hạ lượng đọc·ghi HBM theo độ dài chuỗi từ quy mô bậc hai xuống quy mô tuyến tính, và tăng tốc 2~4 lần
  • FlashAttention-3 tận dụng engine bất đồng bộ của Hopper và FP8 để đạt 840TFLOPS trên H100, tương đương khoảng 85% hiệu năng tối đa

• Speculative decoding

  • Trong decode, ngay cả khi chỉ sinh một token cũng phải đọc toàn bộ trọng số, nên chi phí bổ sung để xác minh song song nhiều token ứng viên là tương đối nhỏ
  • Một mô hình nháp nhỏ đề xuất K token tiếp theo, còn mô hình mục tiêu lớn xác minh chúng bằng một lần chạy song song và chấp nhận tiền tố đúng dài nhất
  • Đầu ra giống hệt về mặt toán học với decode thông thường, nhưng tốc độ nhanh hơn 2~4 lần
  • Các phương pháp như EAGLE-3 chấp nhận hơn 75% token nháp

Bước 11~14: Mạng đã đi vào bên trong mô hình

• Bước 11: Kết nối mở rộng theo quy mô NVLink

  • Các mô hình có hàng nghìn tỷ tham số và mô hình MoE không thể nằm gọn trong một GPU sẽ được chia ra nhiều GPU, nên giao tiếp giữa các GPU xảy ra ở mọi lớp và mọi token
  • Mạng không còn là thiết bị phụ trợ nằm ngoài vòng lặp giải mã mà hoạt động ngay bên trong vòng lặp giải mã
  • NVLink 5 cung cấp 1.8TB/s cho mỗi GPU, khoảng gấp 14 lần liên kết PCIe Gen5
  • GB200 NVL72 kết nối 72 GPU Blackwell và 36 CPU Grace thành một miền NVLink duy nhất
  • Tổng băng thông là 130TB/s, bộ nhớ hợp nhất là 13.4TB
  • Mức điện năng khoảng 120kW và cung cấp thông lượng suy luận cao hơn tối đa 30 lần so với cụm H100 trong các mô hình nghìn tỷ tham số

• Lưu lượng giao tiếp do song song hóa tạo ra

  • Song song tensor chia phép nhân ma trận của mỗi lớp ra nhiều GPU, rồi ở mỗi token phải gộp các kết quả từng phần bằng all-reduce nhiều lần
  • MoE gửi token đến các expert nằm rải rác trên nhiều GPU, nên giao tiếp all-to-all thường trở thành nút thắt cổ chai chính
  • Môi trường vận hành của DeepSeek sử dụng 8 NIC 400Gbps cho mỗi node và dùng DeepEP để chồng lấp giao tiếp giữa các expert với tính toán, giảm thời gian GPU bị dừng

• Bước 12: Switch và kiểm soát tắc nghẽn

  • NVSwitch trong miền mở rộng theo quy mô cung cấp 144 cổng NVLink và chuyển mạch không chặn 14.4TB/s, cho phép 72 GPU giao tiếp đồng thời ở tốc độ tối đa
  • Với mạng mở rộng theo quy mô vượt qua phạm vi rack, người ta dùng các switch như NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet và Broadcom Tomahawk 6 với 102.4Tbps
  • Mạng AI dùng cấu trúc liên kết tối ưu theo rail kết nối các GPU cùng số thứ tự vào cùng một switch rail để giảm số hop trong giao tiếp tập thể
  • Các phép toán bên trong fabric như SHARP thực hiện phép rút gọn ngay trên switch
  • Khi hàng nghìn GPU hoàn tất một bước cùng lúc sẽ xảy ra incast đồng bộ; chỉ cần tắc nghẽn ở một liên kết cũng có thể làm dừng toàn bộ giao tiếp tập thể, nên định tuyến thích ứng là bắt buộc

• Bước 13: NIC và DPU

  • Các gói tin di chuyển giữa các rack đi qua SmartNIC hoặc DPU như NVIDIA BlueField
  • RoCE hoặc InfiniBand verbs cho phép GPU từ xa đọc trực tiếp bộ nhớ của GPU khác mà không đi qua CPU
  • Tốc độ liên kết hiện là 400Gb/s và 800Gb/s đang được tiêu chuẩn hóa
  • DPU xử lý kiểm soát tắc nghẽn, mã hóa, ảo hóa lưu trữ và cô lập đa tenant thay cho CPU máy chủ
  • Trong các cụm tối ưu theo rail, đôi khi mỗi GPU có một NIC chuyên dụng; DeepSeek ghép 8 GPU với 8 NIC 400Gb/s

• Bước 14: Ethernet và linh kiện quang

  • InfiniBand cung cấp độ trễ khoảng 1~2µs và fabric không mất gói, nên từng là lựa chọn truyền thống cho các cụm AI; Ethernet RoCEv2 với khoảng 5~10µs được xem là lựa chọn thứ hai
  • Ultra Ethernet Consortium đã công bố UEC 1.0 vào tháng 6 năm 2025, tái cấu trúc ngăn xếp Ethernet cho AI
  • Dell’Oro dự báo Ethernet sẽ vượt InfiniBand trong mạng backend AI trước năm 2027
  • Suy luận nhạy cảm với chi phí và gần với môi trường đa tenant, doanh nghiệp, nên cấu trúc giá và hệ sinh thái mở của Ethernet rất quan trọng

• Chi phí và điện năng của linh kiện quang

  • Bộ thu phát quang chiếm khoảng 60% chi phí mạng và khoảng 45% điện năng mạng
  • Vì mạng chiếm khoảng 15~18% tổng chi phí cụm, riêng linh kiện quang tương đương khoảng 10% tổng chi phí
  • Các mô-đun pluggable 800G trong một switch có thể tiêu thụ tổng cộng hơn 500W, thậm chí dùng nhiều điện hơn cả switching ASIC
  • Thị trường bộ thu phát quang cho AI được dự báo tăng 57%, từ khoảng 16.5 tỷ USD năm 2025 lên khoảng 26 tỷ USD năm 2026
  • Quang học đồng đóng gói (CPO) đưa thiết bị quang vào gói switch, giảm điện năng của liên kết 1.6T từ khoảng 30W xuống 9W
  • NVIDIA đưa ra mức hiệu quả điện năng cao hơn 5 lần và độ bền phục hồi cao hơn 10 lần cho switch photonics dự kiến ra mắt vào nửa cuối năm 2026
  • Với các mô hình lớn hơn một GPU đơn lẻ, cần quản lý khoảng cách băng thông khoảng 20~40 lần giữa mở rộng theo quy mô NVLink và mở rộng theo quy mô Ethernet

Bước 15: Truyền phát phản hồi và thanh toán

• Khi token cuối cùng được tạo ra, giải token ngược sẽ chuyển ID số trở lại thành văn bản
• Phản hồi đi ngược qua NIC, switch, bộ cân bằng tải và gateway, thường được truyền phát theo từng token bằng server-sent events (SSE)
• Người dùng có thể bắt đầu đọc từ khoảng 0.3 giây trước khi toàn bộ câu trả lời hoàn tất, nên TTFT ảnh hưởng rất lớn đến tốc độ cảm nhận
• Cuối cùng, hệ thống chốt cước bằng cách tính các token đầu vào thường hoặc đã được cache và các token đầu ra đắt hơn theo hạng đã xác định ở bước xác thực

Phục vụ tách rời như một hệ điều hành cho suy luận

• Batch, phân trang KV, tách prefill·decode, lựa chọn phần cứng và giao tiếp tập thể đều là bài toán nâng cao tỷ lệ sử dụng silicon đắt đỏ bằng cách lập lịch các tác vụ không đồng nhất trên các tầng bộ nhớ·mạng
• Phục vụ tách rời (disaggregated serving) của năm 2026 chia prefill thiên về tính toán và decode thiên về băng thông thành các nhóm GPU riêng biệt
• Mỗi nhóm có thể được mở rộng và điều chỉnh độc lập, đồng thời truyền phát KV cache giữa hai nhóm
• NVIDIA Dynamo, vLLM, SGLang, llm-d, Mooncake áp dụng cấu trúc này

Vì sao công ty compiler lại trở thành cloud suy luận

• Các công ty compiler·kernel·auto-tuner không cấp phép công nghệ mà chạy trực tiếp trên hạ tầng của chính họ rồi bán token, biến chênh lệch hiệu suất thành biên lợi nhuận gộp
• Nếu cải thiện 2 lần ở kernel, batch, lượng tử hóa và speculative decoding thì số token có thể bán trên mỗi GPU cũng tăng gấp 2 lần
• Auto-tuner chọn kernel chi phí thấp nhất theo từng tổ hợp mô hình·dạng đầu vào·chip sẽ trực tiếp tạo doanh thu trên đội thiết bị GPU quy mô lớn
• Doanh thu quy đổi hằng năm của Baseten tăng từ khoảng 200 triệu USD vào tháng 12 năm 2025 lên khoảng 600 triệu USD vào tháng 3 năm 2026, tăng khoảng 1,900% so với cùng kỳ năm trước
  • Huy động được 1.5 tỷ USD ở mức định giá 11~13 tỷ USD
  • Mức định giá này tăng từ 5 tỷ USD cách đó 5 tháng
• Thương vụ Qualcomm mua lại Modular với giá khoảng 3.9 tỷ USD là ví dụ cho thấy các công ty chip đang tìm cách đối phó NVIDIA bằng compiler độc lập với phần cứng

Tiêu chí chọn nhà cung cấp suy luận

• Độ trễ, chi phí, độ tin cậy

  • Cần đánh giá độ trễ bằng cách tách thành TTFT quyết định thời điểm bắt đầu câu trả lời và độ trễ giữa các token quyết định tốc độ hoàn tất câu trả lời
  • Độ trễ đuôi p99 phản ánh các lần đứng khựng mà người dùng thực sự gặp phải quan trọng hơn giá trị trung vị
  • Suy luận GPU thông thường mất khoảng 400~600ms cho token đầu tiên
  • Groq và Cerebras đưa ra TTFT dưới 100~150ms và tốc độ đầu ra hơn 1.600~2.100 token mỗi giây với các mô hình cỡ Llama-70B, nhanh hơn khoảng 4~6 lần so với stack GPU thông thường
  • Chi phí không nên tính bằng một mức giá niêm yết duy nhất mà phải tính theo chi phí pha trộn phản ánh tỷ lệ đầu vào·đầu ra, tỷ lệ trúng bộ nhớ đệm và khả năng xử lý theo lô
  • Đầu ra đắt hơn đầu vào khoảng 4~5 lần và chiếm phần lớn tổng chi phí
  • Cache prompt có thể giảm 50~90% chi phí đầu vào, còn mức giá theo lô thường giảm khoảng 50%
  • Giá vào giữa năm 2026 chênh nhau theo bội số hai chữ số, từ khoảng 0,04~0,20 USD cho mỗi 1 triệu token ở các endpoint mô hình mở công khai tối ưu chi phí như DeepInfra hay Groq đến vài USD ở các mô hình frontier
  • Ví dụ về giá của Groq là 0,15 USD cho đầu vào và 0,60 USD cho đầu ra
  • Độ tin cậy phải được đo vượt ra ngoài SLA uptime đơn thuần đến cả tính sẵn sàng chức năng
  • Azure OpenAI cung cấp SLA 99,9% cho việc tạo token
  • Doanh nghiệp cũng yêu cầu SLA độ trễ như TTFT dưới 200ms ở 99,99% số lần gọi
  • Tỷ lệ từ chối tăng vọt, việc tự động thay đổi phiên bản mô hình làm xấu kết quả đánh giá, và hạn mức quota khi có tải có thể phá hỏng sản phẩm dù vẫn đáp ứng uptime chính thức
  • Cần cố định phiên bản mô hình, đàm phán dung lượng và trực tiếp giám sát tính sẵn sàng chức năng

• Bảy tiêu chí phân định mức độ phù hợp cho production

  • Thông lượng và giới hạn yêu cầu: giới hạn token mỗi phút và dư địa xử lý tức thời giới hạn công việc song song và quy mô mở rộng của agent
  • Bảo mật và tuân thủ: SOC 2 Type II, HIPAA, ISO 27001, GDPR là điều kiện cơ bản của các ngành bị quản lý và khó bổ sung về sau
  • Tính địa phương của dữ liệu và triển khai riêng tư: cam kết không lưu giữ, hỗ trợ VPC·BYOC và on-premise quyết định việc phê duyệt mua sắm của doanh nghiệp
  • Tính xác định và kiểm soát phiên bản: seed cố định và checkpoint cố định ngăn kết quả đánh giá bị trôi do thay đổi tự động
  • Phạm vi và độ mới của mô hình: sự đa dạng mô hình, hỗ trợ ngay trong ngày phát hành các trọng số mở mới, và hosting fine-tuning·LoRA quyết định tốc độ áp dụng mô hình mới nhất
  • Tính linh hoạt khi triển khai: các lựa chọn serverless, hạ tầng chuyên dụng và tự host quyết định sự cân bằng giữa chi phí và mức độ kiểm soát
  • Tính di động: API tương thích OpenAI và định tuyến đa nhà cung cấp gọn gàng trở thành phương án ứng phó với sự cố, thay đổi giá và thay đổi mô hình

Các điểm nghẽn vật lý nơi giá trị tích tụ

• Băng thông HBM quyết định trần decode, miền mở rộng quy mô NVLink mang tính độc quyền, còn linh kiện quang học và điện năng trở thành đầu vào khan hiếm
• Trong tổng chi tiêu vốn 725 tỷ USD, hơn 60% được dùng cho điện và công trình, nên chỉ số cuối cùng về dài hạn là số token trên mỗi watt
• Thị trường mạng phân hóa theo hai hướng
  • Kết nối mở rộng quy mô vẫn là lĩnh vực khép kín và có khả năng phòng thủ
  • Mạng mở rộng quy mô ngoài rack trở nên mở và phổ thông hóa, xoay quanh Ethernet và UEC
  • Khu vực tạo khác biệt nằm ở miền NVLink, quang học·CPO và sở hữu trí tuệ về kiểm soát tắc nghẽn hơn là switching thông thường
• Biên lợi nhuận của phần mềm suy luận được quyết định bởi tích số của chênh lệch hiệu suất, mức sử dụng và quy mô vận hành; chỉ những công ty biến hiệu năng thành sức phân phối và chi phí chuyển đổi mới có khả năng phòng thủ khi giá giảm
• Mô hình kinh doanh chỉ lấy tốc độ thô làm lợi thế cạnh tranh có thể bị tầng compiler và công cụ miễn phí của NVIDIA phổ thông hóa cùng mức hiệu năng
• Việc mở rộng quy mô của kinh tế token không tự động bảo đảm biên lợi nhuận cao; chính các nền tảng biến điểm nghẽn bộ nhớ·mạng kết nối·quang học·điện năng và hiệu suất thành độ gắn chặt khách hàng mới tạo ra khác biệt