Vấn đề chi phí hạ tầng khi doanh nghiệp triển khai AI

Yêu cầu hạ tầng của khối lượng công việc AI

• Khối lượng công việc AI gây áp lực lên tính toán, lưu trữ và mạng theo cách mà hầu hết các nhóm CNTT không lường trước.
• Khi nhiều tổ chức bắt đầu hành trình AI doanh nghiệp, họ thường tập trung vào các khoản chi phí hiển nhiên như chi phí giấy phép, dịch vụ tư vấn và nhân sự.
• Tuy nhiên, yêu cầu hạ tầng để hỗ trợ khối lượng công việc AI ít hiển thị hơn nhưng nổi lên như một trung tâm chi phí quan trọng tương đương.
• Việc triển khai AI tạo ra tác động dây chuyền trên toàn hệ sinh thái công nghệ, gây ra những vấn đề mà khung lập kế hoạch năng lực truyền thống không thể dự đoán.

Hạn chế của lập kế hoạch CNTT truyền thống

• Khối lượng công việc AI khác về bản chất với mô hình tiêu thụ tài nguyên của ứng dụng doanh nghiệp truyền thống.
• Mẫu sử dụng khó dự đoán:
  • Lập kế hoạch dung lượng truyền thống giả định mẫu sử dụng tương đối có thể dự đoán trước, nhưng khối lượng công việc AI có thể mở rộng theo cấp số nhân khi mức độ áp dụng tăng lên.
  • Các trường hợp sử dụng AI thành công lan nhanh trên nhiều phòng ban, và mỗi lần triển khai mới đều đòi hỏi thêm tài nguyên tính toán.
• Tác nhân AI tự trị xuất hiện tạo ra các động lực chi phí mới mà kế hoạch truyền thống không thể dự đoán được.
• Phần cứng tăng tốc chuyên dụng:
  • Nhiều ứng dụng AI cần bộ tăng tốc phần cứng chuyên dụng như GPU hoặc TPU, và chúng đi theo đường cong giá-thiết bị khác với CPU tiêu chuẩn.

Ba trụ cột chính của hạ tầng AI

1. Kiến trúc tính toán:
   • Khối lượng công việc AI hiện đại đòi hỏi khả năng xử lý song song quy mô lớn, có thể vượt quá dung lượng hạ tầng hiện có.
   • Ngay cả sáng kiến AI nhìn bề ngoài nhẹ như chatbot dịch vụ khách hàng cũng tạo ra yêu cầu tính toán đáng kể để xử lý hàng nghìn tương tác đồng thời.
2. Kiến trúc lưu trữ:
   • Việc phát triển và triển khai AI tạo ra khối lượng dữ liệu khổng lồ, gây áp lực lên hệ thống lưu trữ.
   • Ngoài việc lưu trữ dữ liệu thô để huấn luyện và xác thực mô hình, cần thêm dung lượng cho artifact mô hình, thu thập dữ liệu suy luận (inference) và giải pháp sao lưu cho tài sản AI.
3. Hạ tầng mạng:
   • Việc di chuyển dữ liệu tạo ra yêu cầu mạng đáng kể.
   • Khối lượng công việc AI cần truyền các tập dữ liệu lớn qua hạ tầng mạng, có thể gây ra tắc nghẽn dẫn đến suy giảm hiệu năng.

Đo lường tác động thực sự của AI

• Tổ chức cần một cách tiếp cận tinh vi hơn để đo lường tác động của AI lên hạ tầng.
• Thực hành tốt nhất là phát triển sự hiểu biết toàn diện về việc sử dụng tài nguyên thay vì dựa vào chỉ số đơn lẻ.
• Đánh giá theo từng khối lượng công việc cung cấp góc nhìn thực tế hơn so với thông số kỹ thuật của nhà cung cấp hoặc benchmark ngành chung.
• Kế toán tổng tài nguyên cần đo lường quá xa hơn các chỉ số tính toán cơ bản, bao gồm mức sử dụng bộ nhớ, mẫu I/O lưu trữ, lưu lượng mạng và việc dùng phần cứng tăng tốc chuyên dụng.

Tối ưu hóa hạ tầng chiến lược

• Thay vì chỉ đổ thêm tài nguyên vào vấn đề, các tổ chức có thể triển khai cách tiếp cận chiến lược để tối ưu hóa khối lượng công việc AI.
• Mô hình triển khai nhận diện theo khối lượng công việc coi trọng việc mỗi ứng dụng AI có hồ sơ tiêu thụ tài nguyên riêng.
• Khung quản trị tài nguyên thiết lập chính sách rõ ràng cho phân bổ tài nguyên, giám sát mẫu sử dụng và triển khai cơ chế tính phí để nâng cao trách nhiệm giải trình.
• Cách tiếp cận hạ tầng lai có thể cung cấp sự cân bằng tối ưu giữa hiệu năng, chi phí và tính linh hoạt.

Tầm quan trọng của đội hạ tầng AI

• Thách thức lớn nhất trong quản lý chi phí hạ tầng AI là vấn đề tổ chức, không phải vấn đề kỹ thuật.
• Các nhóm CNTT truyền thống thường vận hành theo silo, quản lý riêng biệt tính toán, lưu trữ, mạng và phát triển ứng dụng.
• Khối lượng công việc AI đòi hỏi cách tiếp cận tích hợp hơn, và các tổ chức thành công đang xây dựng đội liên chức năng kết hợp chuyên môn từ các miền CNTT truyền thống, khoa học dữ liệu và các đơn vị kinh doanh.
• Việc tích hợp này cho phép phát triển giải pháp toàn diện, giúp thu hẹp khoảng cách giữa năng lực hạ tầng và yêu cầu của ứng dụng.

Tương lai của chiến lược hạ tầng AI

• Khi công nghệ AI tiến triển nhanh, tổ chức cần phát triển chiến lược hạ tầng vừa đáp ứng nhu cầu cấp bách vừa giữ được tính linh hoạt dài hạn.
• Nhiều khách hàng doanh nghiệp đã đầu tư nguồn lực đáng kể vào việc triển khai RAG (tạo sinh tăng cường tìm kiếm), nhưng đạt mức khả dụng cấp doanh nghiệp cho các hệ thống này khó hơn dự kiến nhiều.
• Sự xuất hiện của giao thức chuẩn hóa đang thay đổi căn bản cách hệ thống AI được tích hợp vào hạ tầng doanh nghiệp.
• Tính mô-đun giúp ứng dụng tách biệt khỏi những thay đổi nền tảng công nghệ, cho phép áp dụng nhanh các cách tiếp cận mới.

Xây dựng hệ sinh thái AI bền vững

• Lợi thế cạnh tranh thực sự của AI doanh nghiệp không đến từ thuật toán tinh vi nhất hay mô hình lớn nhất.
• Xây dựng hệ sinh thái hạ tầng bền vững là cách hỗ trợ đổi mới AI đồng thời tránh gây sức ép tài chính cho tổ chức.
• Thông qua các quy trình rà soát định kỳ, phải đánh giá hiệu năng hạ tầng AI và hiệu quả chi phí để thích ứng với nhu cầu thay đổi.
• Để đảm bảo giá trị liên tục từ đầu tư AI, các nhà lãnh đạo công nghệ cần tích hợp cân nhắc về hạ tầng ngay từ giai đoạn đầu của kế hoạch chiến lược.