Moneyball của Physical AI

• Dữ liệu robot không thể được khai thác từ các kho ngữ liệu có sẵn như văn bản, và mỗi giờ dữ liệu hữu ích đều phát sinh chi phí; vì vậy hiệu quả vốn phụ thuộc vào việc tính toán chính xác lợi ích cận biên trên mỗi đô la và độ mới của dữ liệu, hơn là tổng lượng thu thập
• Khi dữ liệu tăng, loss giảm theo luật lũy thừa, nhưng tính đa dạng làm thay đổi phạm vi khái quát hóa và cận dưới của sai số; dữ liệu lặp lại hoặc gần trùng lặp nhanh chóng bão hòa, trong khi các ca lỗi OOD hiếm gặp mang lại lợi ích lớn
• Dữ liệu triển khai trong sản xuất tuân theo đường cong suy giảm của giếng dầu, chuyển từ các lỗi entropy cao ban đầu sang các lần thành công thường nhật và dữ liệu gần trùng lặp; do đó cần chọn lọc phần đuôi lỗi thay vì tăng thời gian vận hành
• Các tác vụ robot ban đầu phải giới hạn biến động môi trường để có tính thương mại, nên số chiều nội tại và khả năng chuyển giao giảm; flywheel sản xuất — cải thiện mô hình đa dụng bằng doanh thu triển khai — khó hoạt động nếu không có phạm vi quan sát và tính đa dạng can thiệp từ bên ngoài
• Ngân sách dữ liệu nên được phân bổ bằng cách mở rộng phạm vi với dữ liệu quan sát chi phí thấp, chỉ thu thập điều khiển từ xa chi phí cao đến điểm bão hòa theo từng tác vụ, và trong telemetry sản xuất thì chỉ chọn lọc các lỗi OOD

---

Physical AI đang định giá sai lượng dữ liệu

• Năm 2002, Oakland Athletics đạt 103 trận thắng với tổng quỹ lương thấp thứ ba MLB; thay vì dựa vào thẩm mỹ chủ quan, số lần cướp gôn hay batting average, họ tìm ra tỷ lệ lên gôn (on-base percentage) — chỉ số thực sự tương quan với số điểm ghi được — và tận dụng việc thị trường định giá sai cầu thủ
• Trong Physical AI, tổng thời gian vận hành cũng được coi trọng vì là chỉ số dễ nhìn thấy và dễ đầu tư, nhưng tương quan của nó với hiệu năng thực tế của các mô hình bên dưới lại yếu
• Dữ liệu robot không thể được khai thác từ các kho ngữ liệu có sẵn như dữ liệu văn bản; phải trả tiền cho từng giờ dữ liệu hữu ích, nên chi phí cũng tăng tuyến tính cùng với lượng thu thập
  • Ken Goldberg ước tính các mô hình robot tuyến đầu có thể cần khoảng 100.000 năm dữ liệu
  • Cách cung cấp dữ liệu giám sát cần cho AGI chỉ bằng hạ tầng điều khiển từ xa thủ công quy mô lớn là không bền vững
• Cách tiếp cận đặt robot vào hiện trường sản xuất và thu telemetry như một sản phẩm phụ của doanh thu vận hành cũng có thể mắc cùng lỗi thống kê
  • Các tác vụ ngách có thể triển khai hiện nay là những lĩnh vực có độ biến động thấp nhất
  • Dữ liệu phát sinh ở đó có entropy thấp và tương quan với nhau, nên lợi ích cận biên nhỏ
• Chỉ số tương đương tỷ lệ lên gôn của Physical AI là mức giảm loss cận biên trên mỗi đô la, phản ánh đồng thời các luật scaling và đơn giá thu thập dữ liệu

Các lợi ích chi phối chuỗi cung ứng dữ liệu

• Mỗi bên tham gia có một góc nhìn dữ liệu khiến lĩnh vực kinh doanh của mình trông có giá trị nhất
  • Các phòng thí nghiệm mô hình nền tảng bán quy mô mô hình đa dụng, nên cho rằng tiền huấn luyện quy mô lớn và mở rộng tính toán sẽ loại bỏ lỗi ở các edge case
  • Các công ty điều khiển từ xa ưu tiên lượng dữ liệu thô, vì doanh thu tăng theo thời gian vận hành hơn là theo lợi ích hay độ mới của dữ liệu
  • Các công ty phần cứng truyền thống mặc định rằng môi trường là bình thường và ổn định, vì giải pháp của họ thất bại trong môi trường ngoài phân phối
  • Nhiều nhà nghiên cứu robot học thuật cho rằng có thể thu hẹp khoảng cách bằng vật lý, mô hình và điều khiển hơn là bằng dữ liệu
• neo-integrator tìm cách vượt qua nút thắt thu thập dữ liệu bằng cách triển khai robot chuyên biệt vào sản xuất thương mại và xử lý thất bại bằng can thiệp của con người
  • Evan Beard đề xuất một flywheel kinh tế, trong đó telemetry sản xuất tạo ra độ mới cần thiết cho năng lực đa tác vụ
  • Kyle Vedder phản biện rằng các môi trường sẵn sàng trả tiền cho việc ứng dụng robot ban đầu vốn có độ biến động thấp, dẫn đến ràng buộc novelty pump
• Chiến lược nào tạo ra năng lực mô hình cao nhất trên mỗi đô la chỉ có thể được đánh giá bằng cách so sánh đồng thời các luật scaling thực nghiệm và kinh tế đơn vị của việc thu thập dữ liệu

Ba loại dữ liệu phân theo chi phí và cách giám sát

• Dữ liệu quan sát có chi phí thấp và phạm vi rộng, như video góc nhìn thứ nhất hoặc thứ ba; chúng mở rộng phạm vi hỗ trợ của không gian biểu diễn nhưng không cung cấp giám sát hành động trực tiếp
• Dữ liệu can thiệp có chi phí cao và phạm vi hẹp, như các màn trình diễn điều khiển từ xa; chúng chứa tường minh các quỹ đạo trạng thái-hành động, và chi phí tăng theo lượng lao động con người
• Dữ liệu triển khai là telemetry thô được tạo nội sinh trong các hệ thống sản xuất
  • Bản thân hoạt động vận hành cũng có thể tạo lỗ
  • Phân phối dữ liệu được quyết định bởi điều kiện vận hành thương mại, không phải bởi thiết kế thuật toán
• Tối đa hóa dữ liệu có thể làm tăng nhiễu entropy thấp và giảm hiệu quả học
  • Trong bộ dữ liệu C4 của mô hình ngôn ngữ, việc loại bỏ boilerplate và dữ liệu gần trùng lặp, đồng thời tăng phạm vi token độc nhất trong một ngân sách cố định, đã giúp mô hình cải thiện
• Pipeline dữ liệu là một bài toán phân bổ vốn: cần xét 1 đô la mua được gì ở mỗi loại dữ liệu, thông tin mới phát sinh ở đâu, và liệu dữ liệu triển khai có thể mở rộng phạm vi tác vụ hay không

Lợi ích dữ liệu nhìn qua các luật scaling

• Lượng dữ liệu và mức giảm loss

  • Khi dữ liệu, kích thước mô hình và lượng tính toán tăng, test loss giảm theo luật lũy thừa có dạng đường thẳng trên trục log-log; nhưng mức giảm nhỏ dần và cuối cùng chạm cận dưới

  • Dạng kết hợp từ Kaplan 2020 và Hoffmann 2022 như sau với kích thước mô hình (N) và số token (D)

    [ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

  • Trong phân bổ tối ưu theo tính toán, nó được rút gọn thành đường bao một chiều theo dữ liệu

    [ L^{*}(D)=E+\tilde B D^{-\beta} ]

• (E) là độ bất định dự đoán mà mô hình không thể loại bỏ; dạng hàm là nhất quán, nhưng các con số là giá trị xấp xỉ như Besiroglu 2024 đề cập

• Đa dạng và chiều nội tại

  • Việc trộn dữ liệu đa dạng đồng thời tạo ra hai hiệu ứng độc lập với lượng dữ liệu
    • Hạ thấp cận dưới sai số tiệm cận nhờ chuyển giao giữa các miền và mở rộng phạm vi manifold
    • Tăng chiều nội tại (d_{\text{int}}) của tập dữ liệu
  • Trong vùng bị giới hạn bởi độ phân giải của các mục tiêu trơn, theo Sharma & Kaplan 2020 và Bahri 2021, quan hệ (\beta \approx 4/d_{\text{int}}) được thỏa mãn
  • Nếu giảm một nửa chiều nội tại của tác vụ, số mũ scaling xấp xỉ tăng gấp đôi, khiến loss giảm nhanh hơn
  • Tuy nhiên, không nên hạ thấp một cách nhân tạo chiều nội tại của phân phối tiền huấn luyện, vì mô hình có thể hội tụ đến một điểm tối ưu kém và không tổng quát hóa
  • Quy luật trộn dữ liệu của Ye et al. 2024 phân rã loss của hỗn hợp thành các định luật lũy thừa theo từng miền và hạng liên kết giữa các miền; hạng liên kết này quyết định chuyển giao tích cực và nhiễu giao thoa tiêu cực

• Sự bão hòa của lặp lại và suy giảm hiệu năng

  • Dữ liệu lặp lại có hiệu quả tương tự token mới cho đến khoảng 4 epoch, nhưng sau đó lợi ích giảm nhanh và cuối cùng làm suy giảm năng lực
  • Muennighoff et al. 2023 khớp được dạng bão hòa hàm mũ với chu kỳ bán rã (R^{*}\approx15)
  • Lặp lại 4 lần gần như không gây mất mát
  • Từ 16 lần lặp trở đi, việc tính toán bổ sung bước vào vùng lợi suất giảm rõ rệt, không tạo ra thông tin mới
  • Khi số ví dụ duy nhất là (U), số lần lặp là (r=T/U), kích thước dữ liệu hiệu dụng là (D_{\text{eff}}=U\cdot f(r)), trong đó (f(r)) bão hòa theo hàm mũ
  • Theo Hernandez et al. 2022, việc lặp lại quá mức một phần dữ liệu hẹp gây ra hiện tượng double descent cục bộ trong test loss, đồng thời làm tổn hại induction head và copying head cần thiết cho học trong ngữ cảnh
  • Khi lặp lại 100 lần 0,1% toàn bộ corpus, hiệu năng tác vụ con của mô hình 800 triệu tham số giảm xuống mức của mô hình 400 triệu tham số

• Trùng lặp gần và bão hòa cục bộ

  • Trùng lặp gần có mức hữu ích liên tục nằm giữa lặp lại hoàn toàn và mẫu hoàn toàn mới
  • Lee et al. 2021 ghi nhận các trường hợp cùng một câu xuất hiện hơn 60.000 lần trong C4
  • Khử trùng lặp giúp giảm ghi nhớ nguyên văn và tăng tốc hội tụ bằng cách phân bổ ngân sách token cho các manifold khác nhau
  • Một biến thiên nhỏ (\varepsilon) khiến (x) và (x+\varepsilon) được ánh xạ vào cùng một mục tiêu, đóng vai trò như regularization nhất quán ngầm định
    • Biến thiên rất nhỏ có lợi ích thấp
    • Biến thiên cỡ trung hữu ích cho regularization
    • Khi biến thiên đủ lớn, nó trở thành dữ liệu riêng biệt
  • Lấy mẫu dày đặc trong một lân cận hẹp sẽ nhanh chóng làm bão hòa dung lượng cục bộ, gây hại cho hiệu năng mô hình

• Sự kiện hiếm và đuôi dài

  • Các sự kiện ngoài phân phối (OOD) hiếm cấu thành phần đuôi thất bại giới hạn hiệu năng mô hình ở giới hạn scaling, nên có lợi ích biên lớn
  • Các phân phối vật lý thực có đuôi dài, và theo Michaud et al. 2023, năng lực vĩ mô xuất hiện khi mô hình học các kỹ năng con tuân theo phân phối Zipf theo thứ tự tần suất
  • Theo Feldman 2020, để đạt độ chính xác tuyến đầu, cần học các nhóm con hiếm chiếm tỷ trọng lớn trong toàn bộ mật độ vận hành
  • Sorscher et al. 2022 cho thấy việc chọn lọc các mẫu khó và tần suất thấp có thể vượt qua các ràng buộc định luật lũy thừa thông thường
  • Các edge case phát sinh từ tính xác suất của thế giới thực rất khó tái tạo bằng sinh tổng hợp hoặc staging có cấu trúc
  • Khi phân phối đã biết mở rộng, các biến thể mới còn lại trở nên hiếm theo cấp số nhân, khiến chi phí phát hiện tăng vọt

Kinh tế học của lợi ích biên trên mỗi đô la

• Loss theo tác vụ và phân bổ vốn

  • Với mô hình ngôn ngữ, tính toán là ràng buộc còn dữ liệu dồi dào, nhưng trong robotics, chi phí thu thập dữ liệu hữu ích là ràng buộc trực tiếp

  • Mục tiêu năng lực tổng thể được mô hình hóa như tổ hợp các cụm tác vụ (j) có trọng số tiên nghiệm (\pi_j), và loss của mỗi cụm tuân theo dạng sau

    [ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

  • (A_j(\phi)) là cận dưới trong cấu hình sensing (\phi), (D_j) là lượng dữ liệu, (\beta_j\approx4/d_j) là số mũ theo chiều nội tại (d_j)

  • Để phân bổ tối ưu nguồn vốn hữu hạn, cần chi tiêu sao cho giá trị biên trên mỗi đô la của mọi kênh thu thập và tinh lọc trở nên bằng nhau

  • Kênh can thiệp có mức premium cho giám sát hành động trực tiếp, nhưng lượng dữ liệu nhanh chóng bão hòa, nên lợi ích kinh tế chính đến từ chuyển giao kỹ năng giữa các tác vụ

  • Chi phí của kênh (i) được biểu diễn là (c_i), hàm bão hòa là (g_i(n_i)), và phép chiếu chuyển giao sang tác vụ (j) là (w_{ij})

  • Khi lượng thu thập tăng khiến (g_i'(n_i)) nhỏ đi, lợi ích trên mỗi đô la cũng giảm

  • Kênh quan sát cải thiện không gian biểu diễn mà không cần nhãn hành động, đồng thời ảnh hưởng đến cận dưới sai số (A_j) và hệ số scaling (B_j)

• Cận dưới sai số do cảm biến quyết định

  • Sai số xác suất không phải một giá trị cố định tuyệt đối, mà là tương đối với trạng thái thông tin mà cảm biến cụ thể của robot quan sát được

  • Cận dưới của tác vụ (j) theo cấu hình sensing (\phi) có thể được biểu diễn bằng entropy có điều kiện (A_j(\phi)=E[H[a|s_\phi]])

    [ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

  • (A_j^{\min}) là giới hạn vật lý không thể loại bỏ bằng bất kỳ cảm biến nào, còn phần còn lại có thể giảm bằng sensing tốt hơn

  • Các biến động môi trường mà cảm biến độ phân giải thấp không phân biệt được xuất hiện với mô hình như nhiễu ngẫu nhiên, nhưng cảm biến độ phân giải cao biến chúng thành lỗi nhận thức luận có thể học được

  • Dữ liệu hành động kéo loss tiến gần (A_j(\phi)), còn cảm biến tốt hơn hạ thấp chính (A_j(\phi))

  • Với loss hòa vốn của tác vụ (L_{\text{neutral}}), phải có (A_j(\phi)\ll L_{\text{neutral}}) thì mới có thể triển khai

  • Ngay cả với sensing tối ưu, nếu (A_j^{\min}\ge L_{\text{neutral}}) thì mở rộng lượng dữ liệu cũng không có tác dụng

  • Trong trường hợp này, cần thay đổi cấu hình phần cứng hoặc chọn tác vụ vận hành khác

Đường cong giảm trừ của dữ liệu triển khai và bẫy hội tụ

• Telemetry sản xuất cạn kiệt như giếng dầu

  • Ở giai đoạn đầu sản xuất, các chế độ thất bại entropy cao xuất hiện, nhưng khi các bất thường được giải quyết, dữ liệu chuyển thành trùng lặp gần và lặp lại, khiến lợi ích giảm mạnh

  • Lợi ích hiệu dụng của phân phối cục bộ bão hòa theo hàm mũ, như (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))

  • Khi vượt qua điểm bão hòa hoặc covering number (n_c), luồng sản xuất hội tụ thành dữ liệu lặp lại có lợi ích thấp

  • Giá trị cao tập trung ở đuôi thất bại, còn các thành công thường ngày không có lợi ích biên

  • Chi phí ròng của dữ liệu triển khai phụ thuộc vào tỷ lệ lỗi, chi phí can thiệp và tổn thất throughput, cũng như giá trị hoàn thành tác vụ

    [ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

• Trước điểm hòa vốn khi (c_{\text{dep}}\approx0), việc thu thập dữ liệu bị lỗ, nên trong giai đoạn triển khai ban đầu cần đưa vốn bên ngoài vào như tài sản R&D, chứ không phải doanh thu vận hành

  • Thường người ta cho rằng có thể bắt đầu triển khai kèm can thiệp ở mức hiệu năng 95% và có lãi ở 99,5%, nhưng do quy luật lũy thừa, lượng dữ liệu cần thiết từ (L_{\text{start}}) đến (L_{\text{neutral}}) có thể tăng lên nhiều bậc độ lớn
  • Nếu mục tiêu hòa vốn tiến sát cận dưới sai số, tức (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0), dữ liệu và chi phí cần thiết sẽ phân kỳ siêu tuyến tính
  • Các tác vụ có (L_{\text{neutral}}\approx A_j(\phi)) trở thành hố hút vốn
  • Cần cải thiện phạm vi dữ liệu và cảm biến trước khi mở rộng quy mô triển khai

• Sự xung đột giữa hội tụ thương mại và khái quát hóa

  • Để triển khai thương mại một foundation model chưa tối ưu, cần hạ chiều nội tại của tác vụ bằng cách hạn chế nhân tạo biến động của môi trường
  • (d_j) thấp tạo ra (\beta_j) lớn, làm tăng tốc độ hội tụ, nhưng sẽ hội tụ về một manifold hẹp và không chuyển giao được
  • Dữ liệu entropy thấp và có tương quan thu được từ các ô vận hành có cấu trúc không mở rộng được biên khái quát hóa của mô hình đa dụng, khiến hệ thống bị khóa trong ngách ban đầu
  • Mỗi tác vụ biến động thấp bị phân mảnh đều phát sinh chi phí kỹ thuật không lặp lại (NRE), và để đạt biên lợi nhuận giống phần mềm, chi phí tích hợp biên của các tác vụ mới được thêm tuần tự phải tiến gần về 0
  • Hai dạng thiên lệch dữ liệu tạo ra những giới hạn khác nhau
    • Thiên lệch staging: dữ liệu can thiệp có mật độ hành vi cao, nhưng được cấu trúc nhân tạo như mô phỏng/phòng thí nghiệm, nên không nắm bắt được phần đuôi thất bại xác suất trong môi trường vật lý thực
    • Thiên lệch phân phối: dữ liệu triển khai đến từ môi trường thực, nhưng vì để tồn tại về mặt thương mại nên bị giới hạn trong các ngách biến động thấp, dẫn đến lấy mẫu một hỗn hợp phân phối sai
  • Chiến lược mở rộng tuần tự từ tác vụ hẹp sang tác vụ rộng chỉ có tính kinh tế khi tốc độ gia tăng các tác vụ có thể triển khai nhanh hơn khoản lỗ NRE tích lũy
  • Chỉ bằng dữ liệu triển khai từ các ngách thương mại thì khó đạt được sự mở rộng này; do đó, flywheel sản xuất chỉ hoạt động khi phạm vi quan sát giúp hạ cận dưới sai số và sự đa dạng can thiệp giúp mở rộng biên khái quát hóa được cung cấp từ bên ngoài

Các chỉ số mật độ thông tin thay thế cho thời gian vận hành

• Chi phí tích hợp biên theo tác vụ theo dõi chi phí NRE phát sinh cho mỗi tác vụ mới bằng kế toán dự án
  • Nếu chi phí không giảm dù danh mục tác vụ lớn lên, tầng mô hình đang không tích lũy được biểu diễn giữa các tác vụ
  • Cấu trúc kinh doanh cũng gần với tích hợp hệ thống tuyến tính hơn là phần mềm có khả năng mở rộng
• Điểm bão hòa theo tác vụ (n_c) tìm điểm mà đường cong học theo tác vụ/môi trường trở nên phẳng
  • Dừng thu thập tại điểm này có thể giảm phần lãng phí chính trong ngân sách teleoperation thủ công
• Tốc độ thay đổi phân phối (v_j) theo dõi tốc độ xuất hiện đầu vào OOD và tần suất huấn luyện lại
  • Vì phân phối mục tiêu phi tĩnh liên tục tạo ra các chế độ thất bại mới, telemetry triển khai liên tục là điều kiện vận hành duy nhất để duy trì lợi thế dữ liệu
• Phạm vi cụm đo số cụm tác vụ/đối tượng/môi trường trực giao trong embedding dữ liệu chuẩn, thay vì số episode thô
  • Sự mở rộng cụm theo thời gian trở thành chỉ báo thay thế cho khả năng khái quát hóa giữa các miền
• Mật độ mới lạ của dữ liệu ước tính mật độ thông tin của luồng đi vào bằng các heuristic active learning như bất đồng ensemble hoặc phương sai dự đoán của trạng thái đã ghi nhận
  • Lọc bỏ các thành công thường nhật entropy thấp và ưu tiên phần đuôi thất bại có hiệu dụng cao
• Cận dưới sai số ngẫu nhiên (A_j(\phi)), yếu tố quyết định tính khả thi, không thể đo trực tiếp
  • Có thể ước tính giá trị tiệm cận (E) bằng cách khớp (L(D)=E+BD^{-\beta}), nhưng sai số xấp xỉ lớn nên khó dùng làm chỉ số vận hành trực tiếp

Hệ sinh thái robotics phân theo chiến lược dữ liệu

• Phòng thí nghiệm ưu tiên mô hình tiền huấn luyện bằng cách tinh chỉnh và làm sạch corpus quan sát quy mô lớn từ nhiều hình thái robot khác nhau, nhằm thu được khái quát hóa tích lũy từ phạm vi này
  • Các phòng thí nghiệm world model đặt cược vào việc tạo dữ liệu can thiệp giá rẻ bằng mô hình đã học
  • Cả tiền huấn luyện tĩnh lẫn mô phỏng tổng hợp đều không thể tái tạo chính xác phần đuôi thất bại của các edge case ngẫu nhiên trong triển khai thực
• Nhà cung cấp tích hợp dọc tự thực hiện thu thập và tinh chỉnh dữ liệu trên phần cứng độc quyền
  • Dữ liệu được căn chỉnh với phần cứng là hiệu quả
  • Ngoại trừ các lĩnh vực vốn có biến động cao như xe tự hành, họ rơi vào vòng lặp mắc kẹt vì thiếu tính mới, do bị giới hạn vào môi trường biến động thấp để có tính thương mại
• neo-integrator có nền tảng vận hành nông nhưng rộng trong nhiều môi trường công nghiệp, nên ở vị thế tốt để có được đa dạng tác vụ
  • Mô hình kinh doanh chỉ xem điều này là diện tích vận hành có thể tính phí, thay vì một môi trường dữ liệu cần chủ động tinh chỉnh, là sai lầm chiến lược
• Nhà cung cấp teleoperation bán thời gian vận hành, nên có động lực tối đa hóa lượng dữ liệu thô hơn là phạm vi mẫu độc đáo
  • Họ vẫn tạo dữ liệu ngay cả sau khi vượt điểm bão hòa theo tác vụ (n_c); cung cấp công cụ hạ tầng tạo doanh thu cục bộ, nhưng không tạo được lợi thế scaling
• Nhà cung cấp phần cứng truyền thống bảo vệ thị trường biến động thấp, có lợi nhuận cao, phù hợp với phát lại hành vi mang tính quyết định
  • Họ hầu như không thu thập dữ liệu cho học máy, nên không có đường đi để leo theo đường cong scaling
• Trong Physical AI, năng lực khan hiếm nhất là nhận diện và nắm bắt tính mới của dữ liệu; giá trị tích lũy ở các đội vận hành biết chọn lọc biến thể OOD, bất kể ranh giới tổ chức truyền thống giữa nghiên cứu và kỹ thuật phần cứng

Khác biệt giữa Physical AI và ứng dụng LLM

• Các ứng dụng phần mềm như Cursor và Harvey mượn foundation model theo đơn vị token, đồng thời nắm giữ giá trị kinh tế nhờ tích hợp workflow và phân phối độc quyền
• Khả năng nắm bắt giá trị kinh tế và năng lực mô hình là hai biến riêng biệt; Physical AI khác với ứng dụng phần mềm ở ba trục

• Chiều tác vụ và tốc độ bão hòa

  • Phát triển phần mềm có chiều nội tại cao, nên phản hồi workflow liên tục vẫn tiếp tục mang lại hiệu dụng biên
  • Các tác vụ vật lý như lấy hàng trong kho có cấu trúc có chiều nội tại thấp, nên luồng dữ liệu theo tác vụ nhanh chóng bão hòa và đi vào vùng lợi suất giảm dần

• Bất đối xứng của tầng foundation

  • Ứng dụng phần mềm hoạt động ở hạ nguồn của các foundation model đa dụng, được trợ giá lớn
  • Physical AI không có tầng foundation đa dụng tương đương để mượn dùng, nên các triển khai robot hiện nay phải giảm nhân tạo biến động môi trường để có thể vận hành
  • Các phân phối con chuyên biệt được thu thập theo cách này không tạo ra khái quát hóa rộng hơn

• Chi phí telemetry và biên lợi nhuận

  • Phần mềm có thể quan sát đầy đủ toàn bộ vòng vận hành với chi phí thấp, gồm mã nguồn, chỉnh sửa của người dùng và kết quả biên dịch
  • Telemetry vật lý có chi phí thu thập cao, và do độ phân giải cảm biến, về bản chất vẫn còn những phần không quan sát được
  • Nếu dữ liệu quan sát nền tảng của Physical AI vẫn là tài sản cạnh tranh và độc quyền, đòn bẩy sẽ tập trung ở tầng mô hình thượng nguồn
  • Nhà cung cấp hạ tầng duy trì quyền định giá độc quyền, còn biên lợi nhuận của ứng dụng hạ nguồn bị gây sức ép

Cách phân bổ ngân sách dữ liệu

• Cần loại thời gian vận hành tích lũy khỏi các chỉ số cơ bản về hiệu năng mô hình, và đánh giá hiệu quả kỹ thuật cùng khả năng scaling bằng chi phí tích hợp biên theo tác vụ, ngưỡng bão hòa, phạm vi cụm embedding và tốc độ thay đổi phân phối
• Cả dữ liệu can thiệp staged lẫn dữ liệu triển khai hẹp đều không thể một mình mở rộng foundation model
  • Staging dung lượng cao nhanh chóng bão hòa phạm vi theo tác vụ và dẫn đến lợi suất giảm dần
  • Triển khai thương mại thiếu tính mới trong các ngách có thể sinh lời, đồng thời phát sinh chi phí NRE để xử lý lỗi ở từng môi trường
• Cần ưu tiên phân bổ dữ liệu chi phí thấp, đa dạng cao cho phạm vi quan sát để hạ cận dưới sai số ngẫu nhiên và mở rộng ranh giới năng lực cơ bản
• Staging can thiệp chỉ nên thực hiện đến điểm bão hòa (n_c) của tác vụ, và ngân sách còn lại nên được tái phân bổ sang đa dạng tác vụ thay vì lặp lại cùng một tác vụ
• Trong telemetry triển khai, cần tách riêng các edge case OOD và chế độ thất bại, đồng thời loại bỏ khối lượng lớn thành công thường nhật không có mật độ thông tin
• Dù triển khai ban đầu có thể tạo ra một số tín hiệu hữu ích, vận hành liên tục trước điểm hòa vốn sẽ tiêu hao vốn
• Hiệu quả vốn của Physical AI không mở rộng bằng cách tối đa hóa lượng dữ liệu, mà bằng năng lực định giá chính xác tính mới của dữ liệu