Bài học cay đắng của nhà sáng lập AI (Bitter Lesson)

• Tổng hợp 4 bài viết của nhà sáng lập Andon Labs (YC w24), startup AI Safety, Lukas Petersson, thành một bài duy nhất
  • Trong lịch sử, các cách tiếp cận tổng quát trong lĩnh vực AI luôn giành chiến thắng
  • Các nhà sáng lập trong lĩnh vực ứng dụng AI hiện nay đang lặp lại những sai lầm mà các nhà nghiên cứu AI trước đây từng mắc phải
  • Các mô hình AI tốt hơn sẽ cho phép các ứng dụng AI mang tính phổ dụng, đồng thời làm giảm giá trị gia tăng của phần mềm liên quan đến mô hình AI
• Chương 1: Lịch sử lặp lại
• Chương 2: Không có lợi thế cạnh tranh
• Chương 3: Dấu chân của lịch sử
• Chương 4: Bạn là một phù thủy

---

Chương 1: Lịch sử lặp lại (History Repeats Itself)

tl;dr:

• Những tiến bộ AI gần đây đã mở ra khả năng tạo ra các sản phẩm mới giải quyết nhiều vấn đề khác nhau
• Tuy nhiên, phần lớn sản phẩm chỉ hoạt động trong giới hạn năng lực hiện tại của mô hình, chưa tận dụng được tính linh hoạt, sức mạnh thực sự của AI
• Lịch sử AI nhiều lần cho thấy các cách tiếp cận tổng quát luôn chiến thắng. Richard Sutton nhấn mạnh điều này trong "The Bitter Lesson"
• Các nhà sáng lập AI ngày nay có xu hướng lặp lại những sai lầm mà các nhà nghiên cứu AI trong quá khứ từng gặp phải

Tóm tắt bài luận của Richard Sutton: The Bitter Lesson. (Bản dịch tiếng Hàn)

• Bài viết đưa ra những bài học sau:
  • Các nhà nghiên cứu AI cố gắng tích hợp tri thức vào tác tử
  • Điều này hiệu quả trong ngắn hạn và mang lại cảm giác thỏa mãn
  • Nhưng về dài hạn, tiến bộ bị đình trệ, thậm chí còn cản trở sự phát triển
  • Cuối cùng, đột phá lại đến từ việc mở rộng năng lực tính toán dựa trên cách tiếp cận hoàn toàn ngược lại
• Tác giả cảnh báo rằng mô thức này đã lặp đi lặp lại trong nghiên cứu AI và đến nay vẫn chưa kết thúc

Sản phẩm AI và The Bitter Lesson

• Sản phẩm AI thường bao gồm mô hình AI và phần mềm bao quanh nó
• Có hai cách để cải thiện hiệu năng:
  1. Thực hiện công việc kỹ thuật để giảm lỗi bằng cách áp đặt ràng buộc lên phần mềm
  2. Chờ đến khi có mô hình tốt hơn được phát hành
• Mô hình càng tiến bộ, giá trị của công việc kỹ thuật đó càng giảm
• Việc giá trị của prompt engineering suy giảm sau khi OpenAI phát hành mô hình mới là một ví dụ cho điều này

Các loại ràng buộc và sản phẩm AI

• Các yếu tố ràng buộc trong sản phẩm AI có thể được chia thành hai loại:
  • Tính đặc thù: phần mềm tập trung vào một vấn đề cụ thể (giải pháp theo chiều dọc)
  • Tính tự chủ: khả năng AI tự thực hiện công việc
• Từ đó có thể phân loại sản phẩm AI theo tính đặc thù (Vertical vs. Horizontal) và tính tự chủ (Workflow vs. Agent)
  • Vertical Workflow
    • Hệ thống vận hành theo trình tự cố định để giải quyết một vấn đề cụ thể
    • Harvey là ví dụ tiêu biểu, một hệ thống workflow được thiết kế để xử lý các vấn đề trong phạm vi hẹp như tác vụ pháp lý cụ thể
  • Vertical Agent
    • Hệ thống hoạt động tự chủ trong một lĩnh vực tác vụ cụ thể và tự đưa ra quyết định trong quá trình làm việc
    • Devin là ví dụ tiêu biểu, thực hiện các tác vụ lặp lại bằng công cụ và dữ liệu giới hạn, đồng thời điều chỉnh các bước công việc khi cần
  • Horizontal Workflow
    • Hệ thống workflow mang tính tổng quát có thể giải quyết nhiều vấn đề khác nhau
    • ChatGPT là ví dụ tiêu biểu, phản hồi nhiều loại đầu vào theo quy trình được định nghĩa sẵn nhưng không có tính tự chủ hoàn toàn
  • Horizontal Agent
    • Hệ thống hoàn toàn tự chủ có thể xử lý nhiều loại vấn đề khác nhau
    • Claude computer-use là ví dụ tiêu biểu, sử dụng phần mềm tiêu chuẩn của công ty để làm việc theo chỉ dẫn của người dùng và giải quyết vấn đề theo cách tương tự con người

Mối liên hệ giữa Vertical Workflow và The Bitter Lesson

• Phần lớn sản phẩm được trình bày tại Demo Day thuộc dạng Vertical Workflow
  • Trong bối cảnh độ tin cậy của các mô hình hiện tại chưa đủ cao, các cách tiếp cận khác trở nên khó khả thi
  • Ngay cả các vấn đề phức tạp cũng có xu hướng bị giới hạn thành Vertical Workflow để đạt hiệu năng chấp nhận được
• Có thể cải thiện các giải pháp này bằng công việc kỹ thuật, nhưng vẫn tồn tại giới hạn
  • Với những vấn đề không thể giải bằng mô hình hiện tại, chiến lược tốt hơn là chờ mô hình tiên tiến hơn
  • Quan sát của Leopold Aschenbrenner: thời gian chờ mô hình tốt hơn có thể ngắn hơn thời gian làm công việc kỹ thuật

Mối quan hệ giữa The Bitter Lesson và các sản phẩm AI hiện tại

• Các nhà nghiên cứu AI đã thiết kế các giải pháp dựa trên tri thức để đạt được “hiệu năng chấp nhận được”, nhưng cuối cùng các giải pháp tổng quát tận dụng nhiều tài nguyên tính toán hơn lại vượt qua chúng
• Cách phát triển sản phẩm AI hiện tại cũng tương tự mô thức đó

Bốn quan sát trong Bitter Lesson và việc áp dụng các loại ràng buộc

Bốn quan sát chính được đề cập trong Bitter Lesson cũng phản ánh rất rõ trong các ràng buộc về tính tự chủ và tính đặc thù của sản phẩm AI.
Nếu giải thích theo từng loại ràng buộc, có thể tóm tắt như sau:

1. Quan sát thứ nhất: Các nhà nghiên cứu AI cố gắng tích hợp tri thức vào tác tử

• Ràng buộc về tính tự chủ:
  • Nhà phát triển thử nghiệm các tác tử tự chủ nhưng độ tin cậy thấp
  • Vì vậy, họ hardcode các bước công việc thành workflow để buộc hệ thống đi theo đúng quy trình mà họ tự giải quyết vấn đề
• Ràng buộc về tính đặc thù:
  • Nhà phát triển muốn tạo một hệ thống phân tích tài liệu tổng quát nhưng gặp khó khăn vì vấn đề độ tin cậy
  • Thay vào đó, họ tập trung vào các loại tài liệu cụ thể như báo cáo tài chính và hardcode các chỉ số cùng quy tắc kiểm chứng cụ thể

2. Quan sát thứ hai: Trong ngắn hạn, điều này hiệu quả và mang lại cảm giác thỏa mãn cho nhà nghiên cứu

• Ràng buộc về tính tự chủ:
  • Việc hardcode workflow làm tăng tính ổn định
• Ràng buộc về tính đặc thù:
  • Chuyên biệt hóa để chỉ xử lý các tài liệu và chỉ số trong phạm vi hẹp giúp tăng độ chính xác

3. Quan sát thứ ba: Về dài hạn, tiến bộ bị đình trệ và thậm chí còn bị cản trở

• Ràng buộc về tính tự chủ:
  • Workflow hardcode không thể xử lý các tình huống mới, dẫn đến kết quả thiếu chính xác
• Ràng buộc về tính đặc thù:
  • Hệ thống chỉ xử lý một vấn đề cụ thể không thể đảm nhiệm các tác vụ liên quan như tài liệu hợp nhất hoặc phân tích công bố kết quả kinh doanh
  • Mỗi tác vụ lại cần một hệ thống chuyên biệt riêng

4. Quan sát thứ tư: Đột phá đến từ việc mở rộng tài nguyên tính toán

• Ràng buộc về tính tự chủ:

  • Các mô hình mới có thể tự tìm ra cách tiếp cận phù hợp một cách động, sửa lỗi khi cần và cho phép xuất hiện các tác tử tự chủ đáng tin cậy

• Ràng buộc về tính đặc thù:

  • Các mô hình mới có thể hiểu toàn diện mọi tài liệu kinh doanh và trích xuất thông tin liên quan, khiến các hệ thống chuyên biệt không còn cần thiết

• Với những vấn đề đòi hỏi tính tự chủ, sản phẩm có mức tự chủ cao hơn sẽ cho hiệu năng tốt hơn

• Khi xử lý không gian đầu vào rộng và phức tạp, sản phẩm ít chuyên biệt hơn sẽ cho kết quả tốt hơn

Kết luận: startup AI và The Bitter Lesson

• Đây là bài đầu tiên trong loạt 4 bài khám phá vai trò của startup trong AI, nhấn mạnh mô thức lịch sử trong đó các mô hình AI tận dụng tri thức miền liên tục bị thay thế bởi các mô hình tận dụng tài nguyên tính toán
• Các sản phẩm AI ngày nay cho thấy hình thái giống đáng ngạc nhiên với mô thức đó
• Việc phát triển phần mềm để bù đắp giới hạn của các mô hình hiện tại là một chiến lược có xác suất thất bại cao, đặc biệt khi mô hình đang tiến bộ rất nhanh
• Nhận định của đối tác YC Jarred: các ứng dụng LLM theo mô hình workflow dọc của thế hệ đầu đang bị thay thế bởi các mô hình GPT thế hệ tiếp theo
• Lời khuyên của Sam Altman: điều quan trọng là xây dựng startup không sợ sự ra mắt của các mô hình tốt hơn mà còn có thể kỳ vọng vào chúng
• Nhiều nhà sáng lập ở tầng ứng dụng AI đang hào hứng chờ các mô hình mới ra mắt, nhưng đó có thể là một tín hiệu nguy hiểm
  • Nếu mô hình tốt hơn xuất hiện, lợi thế cạnh tranh hiện tại của họ nhiều khả năng sẽ suy giảm
  • Đặc biệt, xét từ góc độ hiệu năng sản phẩm trong việc giải các bài toán khó hơn một cách hiệu quả hơn, rủi ro này còn rõ rệt hơn
• Bài tiếp theo sẽ khám phá một chiều kích khác là mức độ chấp nhận của thị trường, và bàn về việc hiệu năng tốt hơn không nhất thiết đảm bảo thành công trên thị trường

---

Chương 2: Không có lợi thế cạnh tranh (No Powers)

tl;dr:

• Trong lịch sử AI, những cách tiếp cận cố bù đắp giới hạn của mô hình bằng tri thức miền cuối cùng thường bị các phương pháp tổng quát hóa dựa trên việc tận dụng tài nguyên tính toán vượt qua
• AI dọc (vertical AI) đi vào thị trường trước bằng cách định nghĩa sẵn các quy trình công việc cụ thể để bù đắp giới hạn của mô hình hiện tại và nâng độ chính xác
• AI ngang (horizontal AI) là dạng tận dụng mô hình đa dụng như ChatGPT và tiếp tục phát triển, nên mỗi khi mô hình được cải thiện, nó có khả năng thể hiện hiệu năng vượt trội hơn trong nhiều lĩnh vực
• Về dài hạn, AI ngang có khả năng chiếm ưu thế nhờ sở hữu hiệu năng và tính linh hoạt cao hơn AI dọc, vốn đặt ra nhiều ràng buộc hơn

Độ khó của bài toán và đường cong hiệu năng

• Figure 1 là ví dụ đơn giản cho thấy AI dọc vào thị trường trước, nhưng AI ngang với mô hình được cải thiện cuối cùng sẽ vượt lên về hiệu năng
• Khi độ khó của bài toán cao hơn (Figure 2), AI dọc thậm chí không thể đạt tới mức hiệu năng đủ dùng, và chỉ khi AI ngang được cải thiện thì bài toán mới thực sự có thể được giải quyết
• Những bài toán mà AI dọc có thể áp dụng ở thời điểm hiện tại tương đối là “bài toán độ khó thấp”; trong nhóm này AI dọc có thể hưởng lợi thế đi trước, nhưng năng lực cạnh tranh dài hạn vẫn chưa chắc chắn

Khái niệm “cộng tác viên từ xa” mà AI ngang mang lại

• Trong tương lai, AI ngang có thể phát triển theo hướng giống như một nhân viên làm việc từ xa, được cấp máy tính và tài khoản rồi tự tìm, sử dụng dữ liệu cần thiết
• UI mà nhiều người dùng đã quen thuộc như ChatGPT có thể dần được tăng cường, tạo điều kiện để doanh nghiệp triển khai nhanh chóng
• Vì AI ngang hấp thụ ngay nhiều chức năng khác nhau mỗi khi mô hình được cải thiện, nên việc duy trì lợi thế cạnh tranh sẽ dễ hơn so với AI dọc

Trường hợp đi trước: trải nghiệm với AcademicGPT

• Ở thời GPT-3.5, tác giả đã ra mắt AcademicGPT để vượt qua giới hạn đầu vào dài, nhưng khi GPT-4 mặc định hỗ trợ đầu vào dài, giải pháp hiện có nhanh chóng bị đào thải
• Như đối tác YC Jared từng nói, “thế hệ ứng dụng LLM đầu tiên phần lớn đã bị thế hệ mô hình tiếp theo vượt mặt”
• Ngay cả AI dọc cung cấp nhiều tính năng cùng lúc cuối cùng cũng có nguy cơ trải qua quá trình tương tự khi hiệu năng mô hình tiếp tục tiến bộ

Phân tích 7 Powers của Helmer

• Phần này xem xét liệu AI dọc có thể cạnh tranh với AI ngang hay không thông qua 7 lợi thế cạnh tranh của Hamilton Helmer (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource)

• Switching Cost (chi phí chuyển đổi)

  • Dù người dùng đã quen với UI hay workflow của một giải pháp AI dọc cụ thể, AI ngang vẫn có thể được áp dụng bằng cách onboarding đơn giản như “tuyển nhân viên mới”
  • Ngày càng có nhiều doanh nghiệp đã đưa vào dùng các giải pháp AI ngang như ChatGPT, nên khả năng quá trình chuyển đổi sẽ không quá khó
  • Xét về giá cả, AI ngang còn có thể tích hợp nhiều giải pháp dọc khác nhau nên được kỳ vọng mang lại hiệu quả tiết kiệm chi phí

• Counter Positioning (định vị ngược)

  • AI dọc có thể cung cấp giá trị tùy biến bằng các giải pháp chuyên biệt cho một thị trường nhất định, nhưng khi mô hình dần cải thiện, AI ngang có khả năng cho hiệu năng tốt hơn trên tổng thể
  • Mỗi lần áp dụng mô hình mới, AI dọc rơi vào thế lưỡng nan: hoặc đánh mất khác biệt vì các “ràng buộc” hiện có, hoặc nếu gỡ bỏ ràng buộc thì cuối cùng lại trở nên giống mô hình ngang

• Scale Economy (kinh tế theo quy mô)

  • Giống như SaaS, AI dọc cũng có thể giảm chi phí theo quy mô, nhưng AI ngang cũng có lợi thế khi hợp nhất nhiều lĩnh vực để phân tán chi phí
  • Bằng cách áp dụng các mô hình ngang được phát triển nhờ đầu tư R&D quy mô lớn vào nhiều mục đích sử dụng khác nhau, việc cắt giảm chi phí có thể được đẩy nhanh

• Network Economy (hiệu ứng mạng lưới)

  • Cả AI dọc lẫn AI ngang đều có thể cải thiện dựa trên dữ liệu người dùng, nhưng AI ngang có lợi thế lớn vì nhận phản hồi từ một tập người dùng rộng hơn để nâng cao hiệu năng tổng thể của mô hình
  • Vì mô hình được cải thiện trên diện rộng nhờ dữ liệu tích lũy từ nhiều lĩnh vực, nó có thể tiến bộ với tốc độ mà AI dọc khó theo kịp

• Brand Power (sức mạnh thương hiệu)

  • Sức mạnh thương hiệu là lợi thế khó có được ở giai đoạn startup nhỏ
  • Các công ty đã có ảnh hưởng thương hiệu lớn như OpenAI hay Google là ngoại lệ, nhưng phần lớn startup AI dọc khó có thể dùng thương hiệu làm vũ khí cạnh tranh

• Process Power (sức mạnh quy trình)

  • Sức mạnh quy trình cũng là lợi thế mà các doanh nghiệp lớn đạt được thông qua hệ thống vận hành được mài giũa trong thời gian dài
  • Ở giai đoạn startup ban đầu, đây gần như không phải nhóm lợi thế phù hợp

• Cornered Resource (nguồn lực độc quyền)

  • Nguồn lực độc quyền chỉ trở thành lợi thế cạnh tranh lớn khi một công ty duy nhất sở hữu dữ liệu hoặc tài nguyên nhất định, và tài nguyên đó là bắt buộc trong lĩnh vực tương ứng
  • Nhiều startup AI tuyên bố có “dữ liệu độc quyền”, nhưng thực tế dữ liệu đó thường không hoàn toàn độc quyền hoặc mô hình vẫn có thể học đủ tốt ngay cả khi không có dữ liệu ấy
  • Ngoại lệ là những công ty thật sự nắm được nguồn lực độc quyền; họ có thể duy trì năng lực cạnh tranh bất chấp sự phát triển của AI ngang

Kết luận

• Cuối cùng, ngay cả trong kịch bản AI dọc được hưởng lợi thế đi trước, khi AI ngang đạt hiệu năng cao hơn thì phần lớn AI dọc sẽ rơi vào tình thế khó duy trì
• Trong 7 Powers của Helmer, chỉ khi nắm được “Cornered Resource” thực sự thì AI dọc mới có khả năng duy trì động lực dài hạn
• Giống như trường hợp AcademicGPT nhanh chóng sụp đổ sau khi GPT-4 ra mắt, ngay cả AI dọc được bổ sung nhiều chức năng cũng có thể cuối cùng đi theo quỹ đạo tương tự khi mô hình được cải thiện
• Ở phần tiếp theo (Chương 3), tác giả sẽ dự đoán khi nào và bằng cách nào AI ngang dưới dạng “cộng tác viên từ xa” sẽ trở thành hiện thực, đồng thời xem xét cụ thể các rào cản về công nghệ, quy định, niềm tin và kinh tế đang cản trở điều đó

---

Chương 3: Dấu chân của lịch sử (A Footnote in History)

• CEO của Anthropic đã công bố một cuộc phỏng vấn giải thích khái niệm “cộng tác viên ảo (virtual collaborator)”
• Khái niệm này tương tự với điều tác giả gọi là “sản phẩm AI ngang (horizontal AI product)” trong loạt bài này
• OpenAI được dự đoán sẽ sớm công bố “Operator”, và theo benchmark bị rò rỉ thì hiệu năng vượt xa Claude (trong benchmark OSWorld, Claude đạt 22%, Operator đạt 38%)
• Mức cải thiện hiệu năng này nằm trong phạm vi đã được dự đoán, và tác giả vẫn giữ nguyên dự báo từ 3 tháng trước
• Ở chương trước, tác giả đã giải thích vì sao các ứng dụng AI dọc khó duy trì năng lực cạnh tranh
  • Chênh lệch hiệu năng với các giải pháp AI tổng quát đang thu hẹp
  • Khi sản phẩm AI ngang đủ sức cạnh tranh, sản phẩm AI dọc gần như không có cách phòng thủ
• Câu hỏi quan trọng: “Khi nào sự chuyển đổi từ AI dọc sang AI ngang sẽ xảy ra?”
  • Nếu là 10 năm nữa, thì việc phát triển AI dọc ngay từ bây giờ vẫn có thể có ý nghĩa
  • Nhưng nếu thay đổi đến trong vòng 1–2 năm, sẽ cần một chiến lược hoàn toàn khác
• Sự chuyển đổi từ AI dọc sang AI ngang sẽ không xảy ra đồng thời ở mọi ngành
• Tuy nhiên, vì phần lớn thị trường mà các startup AI hiện nay tập trung vào là những lĩnh vực tương đối đơn giản, nên có thể kỳ vọng sự thay đổi ở các ngành chính sẽ diễn ra vào thời điểm tương tự nhau
• Dự báo rằng đến năm 2027, sản phẩm AI dọc sẽ khó tồn tại trong phần lớn các ngành
• “Chấp nhận sử dụng (adoption)” ở đây có nghĩa là khi người dùng giải quyết một vấn đề mới hoặc thay đổi cách giải quyết một vấn đề cũ, họ chọn sản phẩm nào
• Những yếu tố sau không được xem xét
  • Thị phần: có thể bị ảnh hưởng bởi các hợp đồng hiện có, v.v.
  • Quy mô tuyệt đối: thị trường sẽ mở rộng khi AI tạo ra các trường hợp sử dụng mới, nhưng phân tích này chỉ xét thay đổi tương đối
  • Giá trị tiềm năng: phân tích đánh giá việc con người chọn giải pháp nào ở thời điểm hiện tại, không bao gồm khả năng cải thiện trong tương lai
• Ví dụ, nếu dòng chảy chuyển từ A sang B, điều đó có nghĩa là trước đây A được ưa chuộng, nhưng giờ B được xem là lựa chọn tốt hơn

Khái niệm AI dọc/AI ngang và workflow/agent

• "AI dọc (vertical)" và "AI ngang (horizontal)" chỉ các loại sản phẩm AI khác nhau
• "workflow" và "agent" cũng là các khái niệm dùng để phân loại sản phẩm AI
• Trong tài liệu này, các khái niệm workflow và agent trong nhóm sản phẩm AI ngang được gộp lại để giải thích chung
  • Có khả năng cao cùng một công ty sẽ phát triển sản phẩm bao gồm cả hai chức năng
  • Ví dụ, ChatGPT có thể bổ sung chức năng agent trong khi vẫn giữ nền tảng workflow hiện có

Quá khứ

• (1) Giai đoạn trước ChatGPT là thời điểm phần mềm truyền thống thống trị thị trường
• (2) Việc ChatGPT ra mắt đã tạo ra sản phẩm AI ngang có ý nghĩa đầu tiên
• (3) Sau khi API GPT-3.5 xuất hiện, lần đầu tiên nhiều sản phẩm dọc chuyên biệt cho AI bắt đầu được tung ra

Năm nay

• (4) Dự đoán rằng vào năm 2025, hiệu năng mô hình sẽ đủ ổn định để được sử dụng như các agent thực dụng
  • Cho đến nay, agent mới chỉ được dùng cho các dự án nghiên cứu hoặc mục đích thử nghiệm hạn chế, nhưng được kỳ vọng sẽ bắt đầu được triển khai nghiêm túc
  • Các sản phẩm workflow dọc hiện có cũng có thể chuyển đổi sang dạng AI agent
• (5) Ngay cả khi agent xuất hiện, workflow dọc vẫn được dự đoán sẽ giữ vị trí thống trị cho đến năm 2025
  • Điều này chịu tác động từ thói quen người dùng ngại thay đổi công cụ đã áp dụng, cùng quán tính của nhà phát triển muốn tiếp tục tận dụng tài sản kỹ thuật đã xây dựng trước đó
• (6) Các sản phẩm AI ngang chủ chốt như ChatGPT, Claude, Gemini được dự báo sẽ mở rộng chức năng để bao phủ thêm nhiều lĩnh vực dọc hơn
  • Các chức năng chuyên biệt hiện có của sản phẩm AI dọc có thể nhanh chóng bị hấp thụ vào các sản phẩm AI ngang
  • Hiện ChatGPT đã bắt đầu tích hợp với ứng dụng desktop

Tương lai gần

• (7) Khoảng cách năng lực giữa AI agent ngang và người lao động sẽ ngày càng thu hẹp
  • Dù chưa đạt đến trình độ chuyên gia, chúng được cho là sẽ có đủ năng lực để tự động hóa đáng kể các công việc văn phòng thông thường
  • Theo đó, lý do tồn tại của các giải pháp AI dọc có thể suy giảm
  • Ví dụ cụ thể:
    • Người dùng cá nhân có thể giao các tác vụ phức tạp như khai thuế hoặc chuẩn bị xin việc cho agent ngang
    • Doanh nghiệp có thể thay thế hoặc cắt giảm đáng kể nhân sự cấp junior
    • Có thể xuất hiện trường hợp chỉ một người cũng tạo ra được giá trị ở mức unicorn
• (8) Phần mềm truyền thống được dự báo vẫn giữ giá trị như giao diện để agent sử dụng
  • Việc tận dụng phần mềm hiện có có thể hiệu quả chi phí hơn so với để agent trực tiếp tạo mới toàn bộ phần mềm
  • Đặc biệt, các phần mềm mang tính phổ dụng và ngang được đánh giá có xác suất sống sót cao hơn
• (9) Những sản phẩm AI dọc sống sót có thể chỉ là số ít nắm giữ các nguồn lực phòng thủ được nhắc đến ở Chương 2 (dữ liệu độc quyền, bằng sáng chế, v.v.)
  • Họ cũng có thể bán các nguồn lực đó với giá trị cao

2024 - Sự phát triển đã chững lại?

• Nhận định rằng các mô hình AI đã đình trệ trong năm 2024 bị đánh giá là kém thuyết phục
  • Ngay cả trước khi o3 ra mắt, hiệu năng mô hình vẫn liên tục cải thiện trên nhiều lĩnh vực như GPT-4, Claude, và các mô hình Open Weight
  • Điểm benchmark trên ARC-AGI, GPQA Diamond và các bài đo khác đã cải thiện mạnh mẽ theo thời gian
• Anthropic đã tiến hóa nhanh từ Claude 2 lên Claude 3, rồi Claude 3.5 Sonnet, và có suy đoán rằng họ đã sử dụng các bản nâng cấp chưa công bố trong nội bộ
• Vì vậy, quan điểm cho rằng 2024 là năm việc cải thiện mô hình AI dừng lại bị xem là thiếu cơ sở

Các trở ngại tiềm tàng

• Model Stagnation: Dù 2024 không có dấu hiệu đình trệ, vẫn có lo ngại rằng sau 2025 sự phát triển mô hình có thể chững lại

  • Tại NeurIPS, Ilya Sutskever đã nhắc đến giới hạn của phương pháp Pre-training truyền thống, nhưng đồng thời cũng gợi ý các hướng đi khác như Test-time compute
  • Các viện nghiên cứu và công ty AI lớn vẫn đang tích cực đầu tư vào tài nguyên tính toán khổng lồ

• Regulation: Nếu xuất hiện các quy định ngoài dự kiến, sự phát triển của AI có thể bị hạn chế

• Trust Barriers: Người dùng vẫn có lo ngại về độ ổn định và độ tin cậy của agent

  • Dẫn lại tiền lệ lịch sử về nỗi sợ tự động hóa thang máy cuối cùng đã biến mất, có dự đoán rằng rào cản này rồi cũng sẽ được vượt qua theo thời gian

• AI Labs Hesitate: Anthropic hoặc OpenAI có thể vẫn giữ một phần tương tác người dùng ở mức hạn chế dù thực tế đã có đủ năng lực kỹ thuật

• Expensive Inference: Như trường hợp o3, suy luận hiệu năng cao có thể đòi hỏi chi phí rất lớn

  • Tuy nhiên, chi phí suy luận đang giảm dần theo thời gian, và cũng có khả năng agent sẽ không áp dụng cùng một mức suy luận cao cho mọi tác vụ

• Khi tổng hợp các yếu tố trên, có thể thấy việc dự đoán tiến bộ công nghệ là khó khăn, nhưng thời gian dành cho các startup AI dọc có lẽ không còn nhiều

• Một đồ thị giá trị hình chữ U được đưa ra, cho thấy khi mô hình AI ngày càng tinh vi, giá trị dựa trên nền tảng kỹ thuật hiện tại có thể nhanh chóng biến mất

Ghi chú tham khảo

• Việc mở rộng Test-time compute thể hiện ở o3 được giải thích là kết quả đã được dự báo từ trước qua các nghiên cứu hiện có
• Như đã được kiểm chứng trong trường hợp AlphaZero, trong các môi trường có thể kiểm chứng, hiệu năng có thể nhanh chóng đạt mức siêu nhân
• Có phân tích cho rằng o3 rất xuất sắc ở các lĩnh vực như lập trình và toán học, nhưng ở các lĩnh vực khác như viết sáng tạo thì không khác biệt lớn so với o1
• Hàm ý là thay vì phát triển mới AI dọc trong tương lai, việc theo đuổi các hướng khác xử lý nguồn lực rộng hơn hoặc độc quyền hơn có thể có lợi hơn cho nhà sáng lập

---

Chương 4: Bạn là phù thủy (You’re a wizard Harry)

Nhà sáng lập giống như phù thủy

• Có khả năng tạo ra cái mới từ hư không
• Việc khởi sự một công ty mới đòi hỏi tư duy mới mẻ
• Lời của Paul Graham (PG): "Ý tưởng không chỉ phải đúng mà còn phải mới mẻ. Đừng bắt đầu thứ mà mọi người đều đồng ý là một ý hay."
• Nhiều nhà sáng lập đang bị làm mờ mắt bởi mức tăng trưởng doanh thu ấn tượng của đồng nghiệp và đánh mất tư duy độc lập
• Khi mọi người đều làm cùng một việc và điều đó có vẻ đang hiệu quả, việc suy nghĩ độc lập trở nên khó khăn
• Tác giả cố gắng suy nghĩ độc lập và mong rằng những ý tưởng này nghe có vẻ tệ

Tương lai của agent ngang và cạnh tranh

• Các agent ngang có khả năng thống trị tầng ứng dụng AI được dự đoán sẽ do các phòng thí nghiệm AI phát triển
• Hiệu năng mô hình có thể tạo ra một người chiến thắng duy nhất, nhưng khả năng cao hơn là sự cạnh tranh khốc liệt giữa Anthropic, OpenAI, GDM và xAI
• Điều này sẽ tạo ra cạnh tranh về giá có lợi cho người dùng cuối trong ngắn hạn
• Ngay cả khi các phòng thí nghiệm AI không nắm bắt được nhiều giá trị tiền tệ trong ngắn hạn, họ vẫn được dự đoán sẽ giữ vị thế rất mạnh
• Vì vậy, việc các nhà sáng lập suy nghĩ về startup của mình trong bối cảnh quan hệ với các phòng thí nghiệm này là điều hợp lý

Cách tiếp cận với tư cách khách hàng

• Như đã bàn ở Chương 2, việc xây dựng sản phẩm AI dọc sử dụng API LLM là khả thi, nhưng chỉ khả thi khi có quyền tiếp cận độc quyền với các nguồn lực quan trọng
• Để xây dựng sản phẩm AI dọc, cần dồn rất nhiều công sức để tìm ra những nguồn lực như vậy

Cách tiếp cận như một đối thủ cạnh tranh

• Nếu tác nhân ngang là tương lai, tại sao không xây dựng nó? Xem xét ba cách tiếp cận
• Chiếm lĩnh thị trường trước
  • Các phòng lab AI sẽ chỉ thực sự cạnh tranh với quy trình làm việc dọc khi mô hình đủ đáng tin cậy để tạo ra tác nhân ngang với nỗ lực kỹ thuật tối thiểu
  • Về mặt lý thuyết, có thể áp dụng nỗ lực kỹ thuật lên các mô hình trước đó để gia nhập thị trường sớm hơn các phòng lab, nhưng điều này không chắc chắn
  • Leopold Aschenbrenner cho rằng nỗ lực này có thể mất nhiều thời gian hơn cả việc xây dựng mô hình tiếp theo: "Có thể sẽ mất thời gian cho đến khi một nhân viên làm việc từ xa có thể tự động hóa nhiều tác vụ, và trong thời gian đó các mô hình trung gian có thể vẫn chưa được khai thác và tích hợp đầy đủ"
  • Dù ai vào thị trường trước đi nữa, lợi thế này được cho là sẽ không kéo dài
• Wrapper API cho tác nhân
  • Bạn cùng phòng đã hỏi: "Chẳng lẽ trên đời không có ai có kỹ năng UI sao?"
  • Điều này gợi ra hai vấn đề: 1) biên lợi nhuận không bền vững do chi phí API, 2) các phòng lab không công khai những mô hình tốt nhất của họ (ChatGPT dùng các mô hình độc quyền cho tìm kiếm, duyệt web, v.v.)
  • Hiện không có ai dùng GPT API để cạnh tranh trực tiếp với ChatGPT, và mẫu hình này được dự đoán sẽ lặp lại với tác nhân ngang
• Mô hình mã nguồn mở
  • Mô hình mã nguồn mở có thể mang lại một con đường khác
  • Perplexity cho thấy có thể cạnh tranh với các phòng lab ở sản phẩm ngang
  • Tuy nhiên, mô hình mã nguồn mở làm tốt ở các benchmark đơn giản nhưng gặp khó khăn ở các tác vụ tác nhân phức tạp
  • Llama-3.1-405b thua kém đáng kể các mô hình tiên tiến nhất trên MLE-bench
  • Andon Labs chuyên về loại benchmark này, và điều đó phù hợp với những gì chúng tôi quan sát được
  • Deepseek V3 và R1 đã ra mắt với kết quả rất ấn tượng, nhưng o3 cũng vậy, và Anthropic được cho là đang có các phiên bản tốt hơn ở nội bộ
  • Mô hình mã nguồn mở có thể tiến rất gần tới mức tiên tiến nhất, nhưng khó tin rằng chúng sẽ vượt qua được
  • Tuy vậy, chừng đó có thể đã đủ để cạnh tranh trong cuộc chơi ngang
  • Chi phí suy luận vẫn sẽ rất cao

Cách tiếp cận như một nhà cung cấp

• Nếu các phòng lab AI thực sự trở nên mạnh như vậy, trở thành nhà cung cấp cho họ là một vị thế rất tốt
• Chắc chắn họ sẽ cần rất nhiều sức mạnh tính toán và điện năng
• Nếu phân tích của Leo là đúng, họ có thể cần nhiều hơn dự kiến
• Cơ hội này đòi hỏi chuyên môn theo ngành, điều có thể không tự nhiên với các nhà sáng lập hiện đang ở tầng ứng dụng AI
• Nhưng hãy nhớ rằng bạn là phù thủy
• Các phòng lab cũng mua dữ liệu từ bên thứ ba
• Scale AI đang chứng minh đây là một mảng kinh doanh tuyệt vời
• Tuy nhiên, vẫn còn nghi vấn liệu các phòng lab AI có thể khiến "tự học" hoạt động hiệu quả hay không
• AlphaZero được huấn luyện mà không cần dữ liệu bên ngoài, và điều này được xem là chén thánh của các mô hình AI tương lai
• Nếu họ không thể làm cho tự học hoạt động, lựa chọn thay thế sẽ là kết hợp nhiều bộ dữ liệu huấn luyện hậu kỳ
• Trong thế giới đó, bán dữ liệu có lẽ sẽ là một lựa chọn tốt

Cách tiếp cận như một bên đóng góp cho hệ sinh thái

• Điều cuối cùng đáng xem xét trong mối quan hệ với các phòng lab AI là trở thành bên đóng góp cho hệ sinh thái
• Điều này có nghĩa là xây dựng các công cụ hỗ trợ tác nhân ngang, nhưng điểm quan trọng là phải tách biệt khỏi chính tác nhân
• Như đã cho thấy ở chương 3, phần mềm truyền thống sẽ tiếp tục tồn tại vì tác nhân cần các giao diện hiệu quả
• Tác nhân có thể tự viết phần mềm của riêng mình, nhưng chi phí suy luận có thể khiến điều đó trở nên không thực tế
• Tuy nhiên, các bên trong hệ sinh thái có nguy cơ bị hàng hóa hóa, và phần lớn giá trị có thể được nắm giữ ở nơi khác
• Điều này sẽ phụ thuộc vào việc chi phí suy luận (inference cost) để vận hành tác nhân ngang cao đến mức nào
  • Nếu chi phí suy luận thấp, việc tác nhân tự tạo ra phần mềm mình cần sẽ trở nên phổ biến hơn

Nếu tác nhân AI ngang đến muộn thì sao?

• Mốc thời gian (timeline) là cực kỳ quan trọng
  • Nếu tác nhân ngang chỉ trở nên đủ sức cạnh tranh sau 10 năm nữa, thì việc xây dựng quy trình làm việc AI dọc ngay bây giờ sẽ là một ý tưởng tuyệt vời
  • Chừng đó là đủ thời gian để xây dựng một công ty lớn và vững chắc
• Nhưng xét đến tốc độ tiến bộ của các phòng lab AI, 10 năm là không thực tế
  • Vậy 4 năm nữa thì sao?
  • 4 năm có thể chưa đủ để xây dựng một công ty lớn, nhưng đủ để mang lại nhiều cơ hội lặp lại (iteration)
  • Bắt đầu ở tầng ứng dụng AI có thể giúp thuận lợi hơn cho việc chuyển sang làm vendor hoặc bên tham gia hệ sinh thái về sau

Lời bạt: Đây có phải là sai lầm của YC(Y Combinator)?

• Nhìn bề ngoài, YC có thể trông như đang đưa ra những lựa chọn sai lầm
  • Hiện tại YC đang dồn phần lớn khoản đầu tư vào các sản phẩm AI theo chiều dọc
  • Nhưng thị trường này có khả năng lớn sẽ sớm biến mất
• Tuy nhiên, tác giả không có nhiều chuyên môn về VC (venture capital) nên không thể đưa ra kết luận chắc chắn
  • Tác giả chỉ đơn giản là đang bối rối và chia sẻ những trăn trở của mình
• YC cho rằng họ theo đuổi một chiến lược đầu tư tương đối trung lập
  • Đầu tư vào những người thông minh và hy vọng họ tìm ra ý tưởng tốt nhất
  • Đây là một chiến lược tuyệt vời, và hàng trăm nhà sáng lập có thể dự đoán tương lai tốt hơn 14 partner của YC
• Tuy nhiên, tác giả lo ngại rằng hệ thống batch của YC có thể khuyến khích tư duy ngắn hạn
  • Ở YC, việc đặt mục tiêu hàng tuần là rất quan trọng, và tiến lên trong một nhóm lớn giúp tạo động lực tốt
  • Nhưng nếu sự đa dạng ý tưởng không đủ, nó có thể dẫn đến tư duy ngắn hạn
  • Nếu làm một sản phẩm AI theo chiều dọc, bạn có thể nhanh chóng đạt 5.000 USD MRR
  • Nhưng đó có phải là cách để xây dựng một doanh nghiệp bền vững không?
  • Nếu tác giả đang ở trong batch YC lúc này, có lẽ tác giả cũng sẽ cảm thấy bị cám dỗ muốn làm một sản phẩm AI theo chiều dọc
  • Hơn nữa, podcast "The Light Cone" của YC cũng có rất nhiều nội dung ủng hộ các sản phẩm AI theo chiều dọc

[zkdlfrlwl2]

Phân biệt và giải thích giữa Vertical AI và Horizontal AI khá thú vị.