Người sáng lập Pandas nói về tương lai của AI, Apache Arrow và kỹ nghệ phần mềm [YouTube]

• Dựa trên kinh nghiệm tạo ra Pandas và Apache Arrow, ông cho rằng ngay cả trong thời đại AI, chuyên môn, khả năng phán đoán và gu thẩm mỹ trong việc thiết kế hệ thống dữ liệu và phần mềm hiệu năng cao vẫn là cốt lõi
• Apache Arrow là một lớp nền tảng trong bộ nhớ dùng chung cho dữ liệu dạng bảng, tiêu chuẩn hóa việc truyền và xử lý giữa các hệ thống; càng nhiều hệ thống áp dụng thì giá trị về khả năng tương tác càng tăng
• Những hệ thống tinh vi như DuckDB và DataFusion rất khó bị thay thế chỉ bằng khả năng sinh mã ở mức trung bình của LLM; năng lực cạnh tranh của mã nguồn mở không chỉ nằm ở code mà còn ở niềm tin và hồ sơ chất lượng được tích lũy lâu dài
• Công cụ AI có thể nâng mạnh năng suất của các lập trình viên có tính chủ động cao, nhưng nếu không rõ mình muốn xây gì thì các lời giải và đoạn mã tầm trung sẽ chồng chất, tạo ra đầm lầy tác tử (agentic tarpit) mà ngay cả agent cũng khó thoát ra
• Trong tương lai, thay vì cú pháp ngôn ngữ và viết tay code, năng lực về kiến trúc, định nghĩa vấn đề, giao tiếp và đánh giá kết quả sẽ quan trọng hơn; tổ chức cũng sẽ phải quản lý cả gánh nặng ra quyết định gia tăng và chi phí token

---

Từ Pandas đến công cụ phát triển AI

• Wes McKinney đã tạo ra Python Pandas khoảng 18 năm trước và công bố nó như một dự án mã nguồn mở vào năm 2010
• Cuốn sách Python for Data Analysis của ông được sử dụng rộng rãi trong hệ sinh thái khoa học dữ liệu Python, và sau đó ông tham gia xây dựng công ty cùng mô hình kinh doanh để có thể tiếp tục phát triển mã nguồn mở
• Tại Cloudera, ông cùng nhiều nhà phát triển mã nguồn mở khác khởi động Apache Arrow, đồng thời tham gia vào hệ sinh thái Arrow và phát triển Parquet
• Ursa Computing sau này trở thành Voltron Data, và ngay cả sau khi Voltron Data được tái tổ chức, ông vẫn duy trì mối quan hệ với Posit
• Hiện tại ông đã thành lập một công ty mới tập trung vào công cụ và hạ tầng cho nhà phát triển AI thay vì thư viện khoa học dữ liệu, để tìm cách nâng cao năng suất kỹ nghệ phần mềm bằng AI

Apache Arrow lan rộng như thế nào

• Arrow là một lớp nền dữ liệu trong bộ nhớ dùng chung cho dữ liệu dạng bảng, giúp tăng tốc xử lý trong bộ nhớ và truyền dữ liệu giữa các hệ thống, đồng thời nâng cao khả năng tương tác
• Ở giai đoạn đầu, do ít người dùng và ít hệ thống tiêu thụ nên động lực áp dụng thấp, và cũng có hoài nghi rằng nhiều cộng đồng mã nguồn mở sẽ khó đồng thuận về một định dạng duy nhất
  • Khi tạo thêm một tiêu chuẩn tích hợp mới, rất dễ rơi vào vấn đề kiểu XKCD: 13 tiêu chuẩn cũ trở thành 14
  • Arrow phát triển theo cách cung cấp một triển khai ổn định trong bối cảnh gần như không có lựa chọn thay thế đáng tin cậy nào khác cho cùng bài toán, rồi chờ sự chấp nhận dần tăng lên
• Bản thân công nghệ không thay đổi quá lớn trong 5~6 năm gần đây, nhưng khi nhiều hệ thống áp dụng hơn thì giá trị tăng thêm gần giống hiệu ứng mạng lưới
• DataFusion cho phép mở rộng theo nhu cầu sản phẩm mà không cần tự xây toàn bộ query engine từ đầu, và ước tính có khoảng 30~40 công ty đang dùng nó như một thành phần nội bộ
  • Arroyo, công ty từng xây dựng streaming data engine, đã được Cloudflare mua lại; sau đó Arrow và DataFusion được dùng trong một phần hạ tầng dữ liệu streaming của Cloudflare
  • DataFusion Comet được dùng để tăng tốc Spark

Phần mềm hệ thống khó bị AI thay thế dễ dàng

• DataFusion và DuckDB là kiểu dự án khó có thể nhanh chóng tạo ra bản thay thế chỉ bằng vibe coding
• LLM có xu hướng lấy trung bình từ code và cách tiếp cận sẵn có, nên trong ngắn hạn rất khó tạo ra những hệ thống được chuyên gia tinh chỉnh tỉ mỉ như query engine tiên tiến
• Những dự án như vậy giống đồng hồ Thụy Sĩ chính xác do nghệ nhân lắp ráp hơn là món đồ chơi nhựa đúc hàng loạt
  • Điều đó không có nghĩa AI sẽ không bao giờ làm được, nhưng ở thời điểm hiện tại khả năng thay thế là thấp
• Giá trị của dự án mã nguồn mở không chỉ đến từ phần triển khai mà còn từ niềm tin mà cộng đồng đã tích lũy trong thời gian dài
  • Niềm tin rằng người bảo trì cân nhắc lợi ích của cộng đồng
  • Kỳ vọng rằng họ sẽ phòng thủ trước các cuộc tấn công chuỗi cung ứng và sửa các lỗi nghiêm trọng
  • Hồ sơ về việc liên tục cung cấp phần mềm được thiết kế tốt và đáng tin cậy
• McKinney không còn tham gia sâu vào phát triển Pandas kể từ sau năm 2013, và hiện dự án được duy trì bởi một nhóm lớn các nhà phát triển
  • Vì vậy ông cho rằng sự ghi nhận và tài trợ nên đến đúng với những người bảo trì thực tế
• Dù AI có thể tạo ra 10.000 dòng code mỗi ngày, cũng không thể công bố sản phẩm không đạt chuẩn chất lượng đã tích lũy từ trước, nên thách thức quan trọng hơn số lượng sinh ra là rà soát và duy trì chất lượng

Từ game và toán học đến lập trình

• Cuối những năm 1990, ông mê GoldenEye 007 trên Nintendo 64, và vào cuối 1997 hoặc đầu 1998 đã tạo một fan site trên GeoCities, qua đó tham gia cộng đồng speedrun
• Khi đó ông quản lý website thủ công, nhưng rồi thấy Kisman, người rất giỏi competitive programming, tự động hóa việc cập nhật site bằng chương trình C++, từ đó tiếp xúc với hiệu quả của tự động hóa do một lập trình viên xuất sắc tạo ra
• Ở trung học ông quan tâm đến các kỳ thi toán và việc sử dụng máy tính; khi vào MIT, ông cảm nhận rõ khoảng cách trình độ lớn giữa mình và những bạn đã lập trình từ nhỏ
• Ông lấy bằng toán thuần và có học một phần khoa học máy tính lý thuyết như độ phức tạp và thuật toán, nhưng do trải nghiệm tiêu cực với Java nên lúc đó chưa thực sự hứng thú với bản thân việc lập trình
• Chỉ sau khi nhận ra lập trình là công cụ giải quyết vấn đề và khuếch đại năng suất cá nhân, ông mới thật sự dấn sâu vào nó

Pandas bắt đầu từ nghiên cứu tài chính

• Năm 2007, ở tuổi 22, ông gia nhập một quỹ hedge fund định lượng và phát hiện rằng trái với kỳ vọng về nghiên cứu đầy công thức, rất nhiều phân tích lại phụ thuộc vào bảng tính Excel và thao tác thủ công
• MATLAB và R cũng được dùng nhưng gần như chỉ là công cụ bổ trợ; nếu muốn triển khai mã MATLAB lên server thì phải mua giấy phép đắt tiền cho từng máy chủ
• Ông kết luận rằng công việc kéo dài từ nghiên cứu đến production cần một ngôn ngữ mã nguồn mở phù hợp để xây dựng hệ thống
• Theo gợi ý của đồng nghiệp, đầu năm 2008 ông bắt đầu dùng Python và các thư viện tính toán khoa học; trong quá trình viết lại công cụ nghiên cứu hiện có bằng Python, hình hài ban đầu của Pandas xuất hiện
• Việc tạo ra công cụ nâng năng suất và nhìn thấy người khác làm việc hiệu quả hơn nhờ công cụ đó mang lại cho ông cảm giác cuốn hút tương tự speedrun game

Trải nghiệm người dùng đơn giản và nợ kỹ thuật bên trong

• McKinney coi trọng các công cụ đơn giản và nhất quán mà người khác cũng có thể hiểu và sử dụng, hơn là công cụ AI phức tạp chỉ phù hợp với riêng một cá nhân
• Một bộ công cụ bị cá nhân hóa quá mức có thể trở nên rối rắm đến mức ngoài người tạo ra thì không ai khám phá nổi, giống như Winchester Mystery House
• Ở giai đoạn đầu của Pandas, ông tập trung vào API và tính dễ dùng để con người dễ hiểu, dễ viết hơn là kiến trúc nội bộ
• Sự lộn xộn trong cấu trúc bên trong để lại gánh nặng bảo trì suốt thời gian dài, nhưng thành công của Pandas cho thấy phần mềm vẫn có thể thành công lớn dù không có kiến trúc hoàn hảo

Vai trò và giới hạn của NumPy

• NumPy được hình thành khi Travis Oliphant hợp nhất Numeric, thư viện mảng đa chiều do Jim Hugunin khởi đầu từ giữa thập niên 1990, với nhánh Numarray bổ sung các tính năng cho mảng lớn như memory mapping vào khoảng 2005~2006
• Khi đó Matplotlib, SciPy cùng các công cụ thống kê và hồi quy tuyến tính đều vận hành quanh mảng NumPy, nên để một công cụ dữ liệu mới tham gia hệ sinh thái thì tính tương thích với NumPy là điều bắt buộc
• NumPy tập trung vào các mảng đa chiều lớn cho số thực và số nguyên, chứ không được thiết kế như nền tảng cho cơ sở dữ liệu hay dữ liệu phi số
• Pandas ban đầu dựa trên NumPy và tìm cách lách qua các ràng buộc với dữ liệu phi số
  • Các giá trị không phải số hoặc boolean được lưu dưới dạng đối tượng Python trong mảng NumPy
  • Dữ liệu chuỗi gây ra overhead của object và truy chiếu gián tiếp nên kém hiệu quả
• Những giới hạn này sau đó trở thành động lực để xây dựng Arrow, một nền tảng trong bộ nhớ thay thế cho các hệ thống như Pandas

Sự phát triển của hệ sinh thái khoa học dữ liệu Python

• Nhiều công ty nhận vốn đầu tư mạo hiểm đã quảng bá rằng mỗi doanh nghiệp đều cần xây dựng hạ tầng dữ liệu như Google, khiến dòng tiền khổng lồ đổ vào các dự án mã nguồn mở big data
• Không phải công ty nào cũng thực sự cần hạ tầng ở quy mô như vậy, nhưng nếu không có nguồn vốn đó thì việc tập hợp các nhà phát triển cần thiết cho Arrow có lẽ đã khó hơn nhiều
• Khi đó ngành công nghiệp cạnh tranh xoay quanh khái niệm data science và data scientist là gì, và tìm người vừa có năng lực kinh doanh, thống kê lẫn phần mềm ở đâu
• Python giúp cả những người không có nhiều kinh nghiệm lập trình nhưng hiểu thống kê cũng có thể tiếp cận data science
  • Nếu học Python for Data Analysis cùng các công cụ như scikit-learn, họ có thể bắt đầu tạo ra các phân tích hữu ích cho công việc chỉ trong 2~3 tuần
  • Nếu trước tiên phải học một ngôn ngữ như Scala thì rào cản gia nhập sẽ cao hơn và thời gian học cũng dài hơn

Công bố Pandas và hình thành tổ chức Arrow

• Pandas được quyết định công bố vào đêm giao thừa năm 2009, và từ bài thuyết trình đầu tiên tại PyCon tháng 2 năm 2010, dự án bắt đầu gắn kết nghiêm túc với cộng đồng Python
• Năm 2010, McKinney bắt đầu chương trình tiến sĩ thống kê tại Duke, nhưng sau đó tạm dừng vì thấy sự quan tâm của các công ty tài chính với công cụ dữ liệu Python và tiềm năng tăng trưởng của Pandas
• Khi đó Pandas 0.1 còn hạn chế đến mức chưa hỗ trợ đủ mọi kiểu join, và ông rời cao học để tập trung vào việc phát triển dự án
• Sau khi xem xét hướng kinh doanh công nghệ tài chính, ông tiếp tục viết Python for Data Analysis và khởi nghiệp một startup BI; đến năm 2013, ông cho rằng khó cạnh tranh với Looker trong thị trường BI nên gia nhập Cloudera
• Tại Cloudera, ông kết nối với các nhà phát triển Impala, rồi gặp nhiều kỹ sư sau này hoạt động tại Iceberg, Databricks và các nơi khác; trải nghiệm này trở thành bàn đạp cho sự nghiệp về sau
• Dự án Arrow khởi động tại Cloudera đầu năm 2016, nhưng trong thị trường phần mềm doanh nghiệp lúc đó rất khó xin ngân sách cho một nhóm chuyên trách công nghệ mang tính thử nghiệm
• Giai đoạn 2016~2018, ông áp dụng Arrow vào các hệ thống thực tế tại công ty tài chính để tăng tốc workload xử lý dữ liệu và cải thiện Parquet
• Đến năm 2018, nhiều doanh nghiệp muốn cấp vốn cho việc phát triển Arrow, nhưng do quy định của công ty tài chính khó quản lý nguồn tiền bên ngoài, ông đã thành lập một tổ chức độc lập vào tháng 4 để có thể nhận tài trợ doanh nghiệp
  • Khoảng 6 nhà tài trợ đã tham gia, gồm cả các công ty phần cứng như Nvidia và các công ty tài chính
  • Ông xây dựng một đội phát triển khoảng 8 người
• Sau khi xác nhận được cơ hội thương mại, ông chuyển sang Ursa Computing vào thời kỳ COVID-19 năm 2020

Các vấn đề kỹ thuật dữ liệu vẫn còn tồn tại

• Đến ngày nay, lĩnh vực dữ liệu vẫn liên tục giải các bài toán quen thuộc: chuyển dữ liệu từ A sang B, đổi định dạng, nạp vào bộ nhớ, và thực thi query cùng transform một cách hiệu quả
• Pandas đã trở thành nền tảng nâng đỡ nhiều luồng dữ liệu doanh nghiệp hơn rất nhiều so với dự đoán, và hiện có khả năng LLM đang tạo ra nhiều mã Pandas hơn tổng lượng con người từng viết trong quá khứ
• DuckDB là công cụ mạnh đến mức một nhà phát triển 20 năm trước khó mà hình dung được
  • Có thể cài miễn phí và chạy trong nhiều môi trường khác nhau
  • Có thể hoạt động ngay trên điện thoại và trong trình duyệt web
  • Cung cấp phân tích hiệu năng cao trên một máy đơn mà không cần cài đặt phức tạp
• Qua nhiều năm bất tiện và thử-sai, nhu cầu đối với các công nghệ như DuckDB và Arrow đã trở nên rõ ràng; nhiều giải pháp, trong đó có Parquet, chịu ảnh hưởng từ các công nghệ do những công ty Internet quy mô lớn như Google tạo ra để tiết kiệm thời gian và chi phí
• Parquet không phải định dạng tốt nhất có thể, nhưng đã cải thiện rất nhiều so với trước đây và gần như hệ thống nào cũng hỗ trợ
  • Dù có các lựa chọn thay thế chuyên biệt như Vortex và Lance, nó vẫn tiếp tục được dùng nhờ khả năng tương thích đủ tốt
• Khi AI chiếm trọn sự chú ý của ngành, sức nóng truyền thông của data engineering giảm xuống; ngay cả khi Databricks công bố data engine mới thì mức quan tâm cũng không còn như trước
• Ngược lại, điều này lại tạo thêm khoảng trống để các nhà phát triển công cụ dữ liệu tập trung vào độ hoàn thiện kỹ thuật thay vì chạy theo xu hướng, và họ có thể dùng AI cho những việc lặp lại, khó chịu như viết test

Hội tụ về công nghệ cơ sở dữ liệu

• Bài học lớn của thời đại big data là lẽ ra cần tận dụng sớm hơn các bài báo và kết quả hội nghị của giới nghiên cứu cơ sở dữ liệu
• Cách tiếp cận quan trọng là đọc, hiện thực hóa và cộng tác với nghiên cứu cơ sở dữ liệu từ những nơi như TU Munich, CWI, MIT, CMU và Berkeley
• Trong giai đoạn NoSQL và kho lưu trữ phi quan hệ chiếm ưu thế, nhiều hệ thống mở rộng được lại phải trả thêm overhead lớn, đến mức đôi khi còn chậm hơn một triển khai đơn máy, đơn luồng được làm tốt
• Nghiên cứu Scalability! But at what COST? với sự tham gia của Frank McSherry và Michael Isard bàn về cái giá phải trả để có được khả năng mở rộng
• Data stack hiện đại đang hội tụ trở lại quanh công nghệ cơ sở dữ liệu và xử lý dạng cột
  • Polars, Daft và DataFusion dùng Arrow
  • Engine mới của dbt tận dụng ADBC
  • Databricks Photon, dù có dùng Arrow hay không, cũng áp dụng cấu trúc dạng cột
• Khi các hệ thống chủ chốt hội tụ vào những kiến trúc và cách tiếp cận tương tự nhau, thách thức quan trọng hơn không còn là cách xử lý lõi mà là làm sao để phần mềm thực sự dễ dùng

Từ Hadoop đến DuckDB: cải thiện về tính dễ dùng

• Thời Hadoop, do Java, các file cấu hình XML và vô số tham số cần chỉnh, có khi phải mất đến hai ngày chỉ để cấu hình trước khi bắt đầu công việc thực tế
• Spark là một cải tiến lớn ở chỗ có thể viết word count trong một dòng, nhưng vẫn cần chuẩn bị hạ tầng và file cấu hình
• Cách cài đặt và chạy của DuckDB là một mô hình về tính dễ dùng cho thấy hệ thống dữ liệu có thể đơn giản đến mức nào
• Ngay cả hệ thống phân tán cũng nên cung cấp các giá trị mặc định hợp lý và cấu hình chạy ngay được để giảm độ phức tạp trong vận hành
• DuckDB cũng đang mở rộng sang khu vực client-server và hợp tác chặt chẽ với MotherDuck

Lớp dữ liệu đa phương thức cho AI tạo sinh

• Lakehouse truyền thống tập trung vào dữ liệu dạng bảng và Parquet, nhưng với AI tạo sinh và việc huấn luyện, fine-tuning mô hình lớn thì cần đồng thời hình ảnh, video, văn bản, tài liệu và log
• Lakehouse dữ liệu đa phương thức mà LanceDB nhắm tới là một bài toán doanh nghiệp có thật
• Khi tạo embedding từ dữ liệu phi cấu trúc quy mô lớn, điện năng và thời gian GPU sẽ bị tiêu tốn, nên chính embedding tạo ra cũng có giá trị kinh tế gắn với chi phí tính toán
• Trong môi trường production, cần một kho dữ liệu có thể lưu trữ, quản lý và xử lý ổn định cả dữ liệu gốc lẫn kết quả được sinh ra
• Nếu mọi công ty đều tự xây kho lưu trữ đa phương thức của riêng mình, họ có thể lặp đi lặp lại các vấn đề như bug, mất dữ liệu và hiệu năng; sẽ hiệu quả hơn nếu có nhà cung cấp phần mềm chuyên trách đưa ra lời giải chung
• Ngay cả khi có thể tự vận hành bảng Iceberg, việc giao cho các nhà cung cấp như Databricks, Snowflake hay AWS quản lý vẫn giúp giảm độ phức tạp vận hành; logic tương tự cũng áp dụng cho dữ liệu đa phương thức của AI tạo sinh
• Thị trường dữ liệu cho AI tạo sinh vẫn còn nhiều khoảng trống để giải quyết các lớp khác nhau, từ tìm kiếm vector tài liệu và xử lý QPS cao cho tới quản lý vòng đời dữ liệu

Năng lực cạnh tranh của nhà phát triển trong thời đại AI

• McKinney từng có lúc tự hỏi liệu mình còn tương lai với tư cách kỹ sư phần mềm hay không, nhưng giờ ông cho rằng AI đang phân hóa con người rõ hơn theo mức độ chủ động
• Người có tính chủ động cao, biết suy nghĩ kỹ về thứ cần xây và có gu cùng khả năng phán đoán để nhận biết kết quả tốt, có thể nhận được mức khuếch đại năng suất rất lớn từ AI
• LLM thường cung cấp cách tiếp cận cỡ B+, an toàn và ở mức trung bình cho đa số vấn đề, nhưng không thể thay người dùng tạo ra kinh nghiệm, gu hay khả năng phán đoán
• Nếu tiếp tục chất thêm mã sinh ra mà không có phán đoán tốt, một vũng lầy phức tạp sẽ hình thành, và ngay cả agent cũng khó tiếp tục làm việc vì bị đè nặng bởi ngữ cảnh và cấu trúc
• Trước đây con người rèn cả kỹ năng lẫn khả năng phán đoán bằng cách tự tay hiện thực, nhưng về sau khi thời gian viết tay code giảm đi thì năng lực hiểu hệ thống và thiết kế sẽ phải được bồi dưỡng theo cách riêng

Cần học gì trong thời đại AI

• Các nhà phát triển mới không nên chỉ học cú pháp Python hay Java mà cần học thiết kế và kiến trúc phần mềm, cũng như cấu trúc của các hệ thống dữ liệu
• Trong data engineering, cần hiểu các hệ thống khác nhau như kiến trúc Lambda và Kappa hoạt động thế nào, và phù hợp với loại bài toán nào
• Cần có khả năng truyền đạt chính xác kết quả mong muốn cho agent, đồng thời nhận ra khi nó đang đi sai hướng
• Nếu người dùng không tự đánh giá được A hay B tốt hơn thì agent cũng không thể đảm bảo lựa chọn đúng thay họ
• Kỹ sư phần mềm, kỹ sư dữ liệu và data scientist đều có khả năng sẽ dành nhiều thời gian hơn cho định nghĩa vấn đề và giao tiếp thay vì trực tiếp viết code
• Nếu không thể diễn đạt điều mình muốn, bạn cũng sẽ không thể nhận được kết quả mong muốn từ AI; chỉ đơn giản đưa AI vào tổ chức không đồng nghĩa năng suất và hiệu quả kinh tế sẽ tự động tăng lên
• Nếu trao AI cho người thiếu kinh nghiệm và khả năng phán đoán, nó có thể trở thành một khẩu thần công bắn rác (slop cannon) tạo ra hàng loạt món nợ mà người khác phải dọn dẹp, thay vì tạo ra đầu ra hữu ích

Gia tăng quyết định và đầu tư AI trong tổ chức

• Trong 2~5 năm tới, việc tuyển dụng lập trình viên, phỏng vấn kỹ thuật và phân chia vai trò có thể trở nên hỗn loạn và thay đổi rất nhanh
• Trước đây, nhóm thường tạo sự đồng thuận chung về công việc qua họp, lập kế hoạch sprint và planning poker rồi mới chia nhau phần hiện thực
• Giờ đây, quy trình lập kế hoạch agile cũ có thể bị nén vào chế độ lập kế hoạch của Claude, khiến một lập trình viên đơn lẻ phải tự đưa ra vô số lựa chọn
• Một lập trình viên phải đưa ra số quyết định gấp 10 lần trước đây trong một ngày có thể bị khựng lại vì mệt mỏi ra quyết định và sự mơ hồ
• Người có thể đánh giá nhanh và chọn lộ trình hiệu quả sẽ tận dụng được năng suất của AI, nhưng với người còn không chắc phải làm gì thì AI cũng không giải quyết được vấn đề đó
• Doanh nghiệp có thể đang trả rất nhiều tiền cho Anthropic và OpenAI nhưng vẫn khó xác nhận được lợi tức đầu tư từ AI
  • Song song với một số kết quả tích cực là sự lãng phí, đầu ra chất lượng thấp và cả chi phí dọn dẹp các đầu ra đó
  • Các nhà cung cấp mô hình AI có doanh thu chừng nào việc bán token còn tiếp diễn, nhưng phía khách hàng có khả năng sẽ áp dụng ngân sách token nghiêm ngặt hơn

Mô hình open-weight và tính kinh tế của token

• McKinney cho biết ông đã chạy mô hình Trung Quốc open-weight GLM 5.2 trên hạ tầng vật lý và đánh giá kết quả là tốt
• GLM 5.2 không phải mô hình nhỏ, và để chạy đúng cách cần khoảng 8 GPU B200
  • Giá của một B200 được ước tính khoảng 30.000~50.000 USD
  • Tổng chi phí phần cứng có thể rơi vào khoảng 250.000~400.000 USD
• Về dài hạn, ông kỳ vọng rằng khi chất lượng mô hình open-weight tăng lên và phần cứng rẻ hơn, sẽ có thể dùng cách chỉ trả tiền điện cho máy chủ cá nhân thay vì liên tục trả phí cho công ty AI bên ngoài
• Nếu tính số token đã dùng trong 30 ngày gần nhất theo giá API niêm yết, con số sẽ vào khoảng 37.000 USD, nhưng số tiền thực tế trả cho nhà cung cấp mô hình thấp hơn nhiều
• Giá token hiện nay có thể đang bao gồm mức trợ giá lớn, và về dài hạn thì cấu trúc chi phí nào là bền vững vẫn còn chưa rõ
• Mức độ áp dụng AI cũng không đồng đều như sự quan tâm của ngành; một số công ty vẫn đang ở phần đuôi dài, mới chỉ thảo luận ở cấp hội đồng quản trị và CTO mà chưa bắt đầu triển khai thực tế