Hồi 1 của Generative AI: Kỷ nguyên suy luận tác nhân mở màn

xguru · 2024-10-21T11:06:01+09:00

Khi cuộc cách mạng Generative AI bước sang năm thứ hai, nghiên cứu đang tiến hóa từ "tư duy nhanh" sang "tư duy chậm" "Tư duy nhanh" là phản hồi nhanh đã được tiền huấn luyện, còn "tư duy chậm" là suy luận trong quá trình inference Sự tiến hóa này đang làm xuất hiện một kiểu ứng dụng agent mới Khi tầng nền tảng của thị trường Generative AI dần ổn định, một số ít ông lớn như Microsoft/OpenAI, AWS/Anthropic, Meta và Google/DeepMind đang dẫn dắt thị trường Chỉ những công ty lớn có cỗ máy kinh tế và nguồn vốn khổng lồ mới còn trụ lại trong cuộc cạnh tranh Cấu trúc thị trường tự thân đang trở nên vững chắc hơn, và việc dự đoán next-token rẻ và dồi dào sẽ trở nên khả thi Khi cấu trúc thị trường LLM ổn định, một frontier mới đã xuất hiện Trọng tâm đang được đặt vào việc phát triển và mở rộng tầng suy luận, nơi lối tư duy "System 2" được ưu tiên Lấy cảm hứng từ các mô hình như AlphaGo, tầng này hướng tới việc trao cho hệ thống AI khả năng suy luận cẩn trọng, giải quyết vấn đề và hoạt động nhận thức, vượt lên trên việc chỉ khớp mẫu đơn thuần Các kiến trúc nhận thức và giao diện người dùng mới đang định hình cách những năng lực suy luận này được truyền tải tới người dùng và tương tác với họ Strawberry Fields Forever Bản cập nhật mô hình quan trọng nhất của năm 2024 là o1 của OpenAI (trước đây được biết đến với tên Q* và cũng được gọi là Strawberry) Điều này không chỉ có nghĩa OpenAI đã vươn lên nhóm đầu bảng xếp hạng chất lượng mô hình, mà còn mang lại một cải tiến đáng kể cho kiến trúc hiện trạng Cụ thể, đây là mô hình đầu tiên sở hữu "năng lực suy luận tổng quát" thực sự đạt được nhờ tính toán ở thời gian suy luận Mô hình tiền huấn luyện vs tính toán thời gian suy luận Mô hình tiền huấn luyện thực hiện next token prediction bằng cách sử dụng một lượng dữ liệu khổng lồ Đặc tính nổi sinh theo quy mô (emergent property) là suy luận cơ bản, nhưng kiểu suy luận này rất hạn chế Tính toán thời gian suy luận có nghĩa là yêu cầu mô hình dừng lại và suy nghĩ trước khi đưa ra câu trả lời Điều này đòi hỏi nhiều năng lực tính toán hơn trong quá trình suy luận Phần "dừng lại và suy nghĩ" chính là reasoning So sánh AlphaGo và LLM Vào tháng 3 năm 2016 tại Seoul, AlphaGo đối đầu huyền thoại cờ vây Lee Sedol và tạo nên một trong những khoảnh khắc quan trọng nhất trong lịch sử deep learning AlphaGo đã cho thế giới thấy hình ảnh của một "AI biết suy nghĩ", vượt xa việc chỉ bắt chước mẫu hình Sự khác biệt giữa AlphaGo và các hệ thống AI chơi game trước đó Cũng như LLM, AlphaGo được tiền huấn luyện để mô phỏng các chuyên gia con người thông qua cơ sở dữ liệu khoảng 30 triệu nước đi từ các ván đấu trước đó và tự chơi với chính mình Nhưng thay vì đưa ra phản ứng tức thời từ mô hình tiền huấn luyện, AlphaGo dành thời gian để dừng lại và suy nghĩ Khi suy luận, AlphaGo chạy tìm kiếm hoặc mô phỏng trên một loạt rộng các kịch bản tương lai tiềm năng, đánh giá các kịch bản đó, rồi phản hồi bằng kịch bản (hoặc câu trả lời) có kỳ vọng cao nhất AlphaGo được cho càng nhiều thời gian thì hiệu năng càng cải thiện Nếu hoàn toàn không có tính toán thời gian suy luận, AlphaGo không thể đánh bại những kỳ thủ hàng đầu của con người Vì sao khó tái tạo AlphaGo trong LLM Rất khó xây dựng một value function để đánh giá câu trả lời Với cờ vây, có thể mô phỏng ván đấu đến hết, xem ai thắng rồi tính giá trị kỳ vọng cho nước đi tiếp theo Với lập trình, có thể kiểm thử mã và xem nó có hoạt động hay không Nhưng những thứ như bản nháp bài luận, lịch trình du lịch hay phần tóm tắt các thuật ngữ cốt lõi của một tài liệu dài lại rất khó đánh giá Đây là lý do suy luận khó với các phương pháp hiện tại, và cũng là lý do Strawberry tương đối mạnh trong các lĩnh vực gần với logic hơn (ví dụ: coding, toán học, khoa học) nhưng không như vậy trong các lĩnh vực mở và phi cấu trúc (ví dụ: viết lách) Nghiên cứu nhằm cải thiện năng lực suy luận của mô hình Strawberry Cách triển khai thực tế của Strawberry được bảo vệ chặt chẽ, nhưng ý tưởng cốt lõi có liên quan đến reinforcement learning trên chuỗi suy nghĩ do mô hình tạo ra Việc kiểm toán chuỗi suy nghĩ của mô hình cho thấy có điều gì đó nền tảng và thú vị đang diễn ra, tương tự như cách con người suy nghĩ và lập luận Ví dụ, o1 đang cho thấy khả năng quay lại khi bị mắc kẹt như một đặc tính nổi sinh của việc scale ở thời gian suy luận Nó cũng thể hiện khả năng suy nghĩ về vấn đề theo kiểu con người (ví dụ: hình dung các điểm trên một mặt cầu để giải bài toán hình học) và khả năng suy nghĩ về vấn đề theo cách mới (ví dụ: giải bài toán thi lập trình theo cách khác con người) Nhóm nghiên cứu có rất nhiều ý tưởng để thúc đẩy tính toán thời gian suy luận, như các phương pháp mới để tính reward function và các cách mới để thu hẹp khoảng cách generator/verifier nhằm cải thiện năng lực suy luận của mô hình Nói cách khác, deep reinforcement learning một lần nữa đang được chú ý, và điều đó đang mở đường cho một tầng suy luận hoàn toàn mới Bước nhảy từ System 1 sang tư duy System 2 Bước nhảy từ phản xạ bản năng đã được tiền huấn luyện ("System 1") sang suy luận sâu hơn và cẩn trọng hơn ("System 2") là frontier tiếp theo của AI Việc mô hình chỉ đơn giản là biết điều gì đó là chưa đủ Mô hình cần dừng lại, đánh giá và suy luận để đưa ra quyết định trong thời gian thực Tiền huấn luyện tương ứng với tầng System 1 Dù là học hàng triệu nước cờ vây trong AlphaGo hay học hàng petabyte văn bản quy mô Internet trong LLM, mục tiêu của tiền huấn luyện là bắt chước các mẫu hình như cách con người chơi game hoặc sử dụng ngôn ngữ Nhưng bắt chước, dù mạnh đến đâu, vẫn không phải là suy luận thực sự Đặc biệt, nó không thể tư duy đúng đắn trong những tình huống phức tạp và mới mẻ nằm ngoài dataset huấn luyện Tư duy System 2 là trọng tâm của nghiên cứu AI hiện đại Khi mô hình "dừng lại và suy nghĩ", nó không chỉ đơn giản tạo ra các mẫu hình đã học hoặc thốt ra dự đoán dựa trên dữ liệu quá khứ Nó tạo ra một dải khả năng, cân nhắc các kết quả tiềm năng và đưa ra quyết định dựa trên suy luận Cách sử dụng phù hợp tư duy System 1 và System 2 Với nhiều tác vụ, tư duy System 1 là đủ (ví dụ: nghĩ lâu hơn cũng không giúp ích gì khi trả lời thủ đô của Bhutan là gì) Nhưng với những vấn đề phức tạp hơn như đột phá trong toán học hay sinh học, phản ứng nhanh và theo bản năng là không đủ Những tiến bộ như vậy đòi hỏi tư duy sâu, giải quyết vấn đề sáng tạo và trên hết là thời gian AI cũng vậy. Để giải được những vấn đề khó và có ý nghĩa nhất, nó cần dành thời gian vượt ra ngoài các phản ứng nhanh trong phạm vi dataset học được để đưa ra kiểu suy luận thấu đáo vốn định nghĩa tiến bộ của con người Quy luật scaling mới: khởi đầu cuộc đua suy luận Insight quan trọng nhất từ bài báo về o1 của OpenAI là một quy luật scaling mới đã xuất hiện Quy luật scaling của tiền huấn luyện LLM Tiền huấn luyện LLM tuân theo một quy luật scaling đã được hiểu khá rõ Càng dùng nhiều compute và dữ liệu để tiền huấn luyện mô hình, hiệu năng càng tăng Quy luật scaling mới của tính toán thời gian suy luận Bài báo về o1 đã mở ra một chiều kích mới cho việc mở rộng compute Càng cung cấp cho mô hình nhiều compute ở thời gian suy luận (hoặc "test time") thì năng lực suy luận càng được cải thiện Điều gì sẽ xảy ra nếu mô hình có thể suy nghĩ trong vài giờ, vài ngày hay vài chục năm? Liệu nó có thể giải được giả thuyết Riemann không? Liệu nó có thể trả lời câu hỏi cuối cùng của Asimov không? Chuyển dịch từ các cụm tiền huấn luyện quy mô lớn sang inference cloud Sự thay đổi này sẽ đưa chúng ta từ thế giới của các cụm tiền huấn luyện quy mô lớn sang inference cloud Inference cloud là môi trường có thể mở rộng compute một cách linh hoạt theo độ phức tạp của tác vụ Liệu một mô hình có thống trị tất cả? Điều gì sẽ xảy ra khi OpenAI, Anthropic, Google, Meta và các công ty khác mở rộng tầng suy luận và phát triển những cỗ máy suy luận mạnh hơn? Liệu một mô hình có thống trị tất cả? Một giả thuyết từng cho rằng một công ty sở hữu mô hình duy nhất sẽ trở nên quá mạnh và hấp thụ mọi ứng dụng khác Dự đoán này đến nay đã được chứng minh là sai ở hai khía cạnh Thứ nhất, ở tầng mô hình có rất nhiều đối thủ cạnh tranh liên tục ganh đua về năng lực SOTA Dù vẫn có khả năng ai đó đạt được tự cải thiện liên tục thông qua tự học trên phạm vi miền rộng và cất cánh thành công, nhưng hiện vẫn chưa có bằng chứng như vậy Ngược lại, tầng mô hình là một đấu trường cạnh tranh khốc liệt, và giá mỗi token của GPT-4 đã giảm 98% kể từ kỳ Developer Day trước đó Thứ hai, các mô hình đang gặp khó khăn khi tiến lên tầng ứng dụng Ngoại trừ ChatGPT, các mô hình nhìn chung đã thất bại trong việc trở thành sản phẩm đột phá ở tầng ứng dụng Bởi vì thế giới thực rất phức tạp Các nhà nghiên cứu giỏi không muốn hiểu chi tiết workflow end-to-end cho mọi tính năng khả dĩ của mọi thị trường ngách có thể có Việc các nhà nghiên cứu dừng lại ở API và để hệ sinh thái nhà phát triển xử lý sự phức tạp của thế giới thực là điều hấp dẫn và hợp lý về mặt kinh tế Đây là tin tốt cho tầng ứng dụng Thế giới thực phức tạp: nhu cầu về kiến trúc nhận thức tùy biến Cách bạn lên kế hoạch và thực hiện hành động để đạt mục tiêu với tư cách một nhà khoa học rất khác với cách bạn làm việc với tư cách một kỹ sư phần mềm Và ngay cả cách làm việc của các kỹ sư phần mềm ở những công ty khác nhau cũng khác nhau Dù các phòng thí nghiệm đang tiếp tục đẩy xa giới hạn của suy luận đa dụng theo chiều ngang, vẫn cần suy luận đặc thù cho ứng dụng hoặc miền để cung cấp tác nhân AI thực sự hữu ích Thế giới thực phức tạp đòi hỏi lượng lớn suy luận đặc thù theo miền và ứng dụng mà một mô hình tổng quát không thể mã hóa hiệu quả Sự xuất hiện của kiến trúc nhận thức Kiến trúc nhận thức là cách hệ thống suy nghĩ, tức luồng mã và tương tác với mô hình nhận đầu vào người dùng rồi thực hiện hành động hoặc tạo phản hồi Ví dụ, với Factory, mỗi sản phẩm "droid" đều có một kiến trúc nhận thức tùy biến mô phỏng cách con người suy nghĩ để giải quyết một tác vụ cụ thể, như review pull request hoặc lập và thực thi kế hoạch migration cho việc cập nhật dịch vụ backend-to-backend Droid của Factory phân tích mọi dependency, đề xuất các thay đổi mã liên quan, thêm unit test và lôi kéo con người vào để review Sau đó, khi được phê duyệt, nó thực thi các thay đổi trên mọi tệp trong môi trường phát triển, và nếu tất cả bài kiểm thử đều qua thì sẽ merge code Điều này giống với cách con người suy nghĩ dưới dạng một chuỗi tác vụ riêng biệt, thay vì một câu trả lời duy nhất mang tính khái quát và như hộp đen Điều gì đang diễn ra với App? Nếu muốn khởi nghiệp AI, nên nhắm vào tầng nào? Để cạnh tranh ở tầng hạ tầng, bạn phải đánh bại NVIDIA và các hyperscaler Để cạnh tranh ở tầng mô hình, bạn phải đánh bại OpenAI và Mark Zuckerberg Để cạnh tranh ở tầng ứng dụng, bạn phải đánh bại IT doanh nghiệp và các nhà tích hợp hệ thống toàn cầu Cạnh tranh ở tầng ứng dụng có vẻ khả thi nhất Cơ hội ở tầng ứng dụng Mô hình nền tảng vừa kỳ diệu nhưng cũng phức tạp Doanh nghiệp đại trà không thể xử lý các hộp đen, hiện tượng hallucination và workflow vụng về Người tiêu dùng nhìn vào một prompt trống và không biết nên yêu cầu điều gì Đây là cơ hội của tầng ứng dụng Hai năm trước, nhiều công ty ở tầng ứng dụng bị chê là "chỉ là wrapper trên GPT-3" Ngày nay, những wrapper đó lại được chứng minh là một trong số ít cách lành mạnh để xây dựng giá trị bền vững Những gì bắt đầu là "wrapper" đã tiến hóa thành "kiến trúc nhận thức" Đặc điểm của các công ty AI ở tầng ứng dụng Không chỉ đơn giản đặt UI lên trên mô hình nền tảng Họ thường có kiến trúc nhận thức tinh vi, thường bao gồm: nhiều mô hình nền tảng với một cơ chế routing nào đó ở phía trên cơ sở dữ liệu vector và/hoặc graph cho RAG guardrail để đảm bảo tuân thủ logic ứng dụng mô phỏng cách suy luận thông qua workflow Service-as-a-Software Quá trình chuyển dịch lên cloud là "Software-as-a-Service". Các công ty phần mềm trở thành nhà cung cấp dịch vụ đám mây, và đó là một cơ hội trị giá 350 tỷ USD Nhờ suy luận tác nhân, quá trình chuyển dịch AI là "Service-as-a-Software". Các công ty phần mềm đang chuyển lực lượng lao động thành phần mềm Điều này có nghĩa là thị trường mục tiêu không phải thị trường phần mềm mà là thị trường dịch vụ trị giá hàng nghìn tỷ USD Bán công việc có nghĩa là gì Sierra là một ví dụ điển hình Các công ty B2C triển khai Sierra trên website của họ để trò chuyện với khách hàng Job-to-be-done là giải quyết vấn đề của khách hàng Sierra tính phí theo số ca được giải quyết Không có thứ gì như "seat". Bạn có một công việc cần làm, Sierra xử lý công việc đó và tính phí tương ứng Đây là ngôi sao Bắc Cực thực sự của nhiều công ty AI Ưu điểm của Sierra và thách thức của các công ty khác Sierra có lợi thế về một chế độ thất bại thanh nhã (escalate sang nhân viên tư vấn con người) Không phải công ty nào cũng may mắn như vậy Mẫu hình mới là trước tiên triển khai với human-in-the-loop, rồi dùng trải nghiệm đó để mở ra cơ hội triển khai autopilot với human-out-of-the-loop GitHub Copilot là một ví dụ điển hình cho điều này Một kiểu ứng dụng tác nhân mới đang bắt đầu xuất hiện Nhờ các năng lực suy luận mới của Generative AI, một loại ứng dụng tác nhân mới đang bắt đầu xuất hiện Điều thú vị là các công ty ở tầng ứng dụng này trông khác với các công ty cloud trước đây: Các công ty cloud nhắm tới doanh thu phần mềm, còn các công ty AI nhắm tới doanh thu dịch vụ Các công ty cloud bán phần mềm ($/seat), còn các công ty AI bán công việc ($/kết quả) Các công ty cloud ưa chuộng cách tiếp cận bottom-up với phân phối ít ma sát, còn các công ty AI ngày càng đi theo cách tiếp cận top-down với mô hình triển khai high-touch, high-trust Ví dụ về các ứng dụng tác nhân đang xuất hiện trong mọi lĩnh vực của nền kinh tế tri thức Harvey: luật sư AI Glean: trợ lý công việc AI Factory: kỹ sư phần mềm AI Abridge: chuyên viên ghi chép y khoa AI XBOW: chuyên gia pentest AI Sierra: tác nhân hỗ trợ khách hàng AI Bằng cách hạ chi phí cận biên để cung cấp các dịch vụ này xuống mức tương tự như đà giảm mạnh của chi phí suy luận, các ứng dụng tác nhân đang mở rộng và tạo ra những thị trường mới XBOW là một ví dụ điển hình: XBOW đang xây dựng một "pentester" AI "Pentest" hay kiểm thử xâm nhập là một cuộc tấn công mạng mô phỏng vào hệ thống máy tính mà doanh nghiệp thực hiện để đánh giá hệ thống bảo mật của chính mình Trước Generative AI, do pentest bởi con người rất đắt đỏ (vì là công việc thủ công do nhân sự lành nghề thực hiện), các doanh nghiệp chỉ thuê pentester trong các tình huống hạn chế, chẳng hạn khi cần để tuân thủ quy định Nhưng hiện nay XBOW đang trình diễn pentest tự động dựa trên các LLM suy luận tiên tiến, với hiệu năng ngang ngửa những pentester con người lành nghề nhất Điều này mở rộng thị trường pentest và mở ra khả năng pentest liên tục cho các doanh nghiệp ở mọi quy mô và hình thái Điều này tác động gì đến ngành SaaS? Khi gặp các LP vào đầu năm nay, câu hỏi chúng tôi nhận được nhiều nhất là: “Liệu quá trình chuyển đổi sang AI có phá hủy các công ty cloud hiện tại không?” Chúng tôi bắt đầu với một giả định nền tảng rất mạnh là “không” Cuộc chiến kinh điển giữa startup và doanh nghiệp hiện hữu giống như một cuộc đua, nơi startup xây dựng phân phối còn doanh nghiệp hiện hữu xây dựng sản phẩm Liệu các công ty trẻ có sản phẩm tuyệt vời có thể tiếp cận khách hàng trước khi các doanh nghiệp hiện hữu đang sở hữu khách hàng tung ra sản phẩm tuyệt vời hay không? Xét đến việc phần lớn “phép màu” của AI đến từ các foundation model, giả định cơ bản của chúng tôi là “không” Các doanh nghiệp hiện hữu cũng có thể tiếp cận foundation model như startup, đồng thời có sẵn lợi thế về dữ liệu và phân phối, nên họ sẽ làm tốt Cơ hội chính của startup không phải là thay thế các công ty phần mềm hiện hữu, mà là nhắm vào nhóm công việc có thể được tự động hóa Tuy nhiên, giờ đây chúng tôi không còn chắc chắn như vậy nữa Hãy tham khảo nội dung đã đề cập ở trên về kiến trúc nhận thức Cần một khối lượng kỹ thuật khổng lồ để biến năng lực thô của mô hình thành các giải pháp kinh doanh end-to-end vừa thuyết phục vừa đáng tin cậy Có phải chúng ta đang đánh giá quá thấp một cách nghiêm trọng ý nghĩa của “AI native” không? 20 năm trước, các công ty phần mềm on-premise từng cười nhạo ý tưởng SaaS “Chẳng có gì to tát. Chúng tôi cũng có thể tự vận hành máy chủ và cung cấp thứ này qua internet mà!” Về mặt khái niệm thì đơn giản, nhưng sau đó là một sự tái tạo toàn diện của doanh nghiệp: EPD chuyển từ mô hình thác nước và PRD sang phát triển agile và A/B testing GTM chuyển từ sales doanh nghiệp top-down và những bữa tối steak sang PLG bottom-up và product analytics Mô hình kinh doanh chuyển từ ASP cao và dòng doanh thu bảo trì sang NDR cao và định giá theo mức sử dụng Rất ít công ty on-premise chuyển đổi thành công Liệu AI có thể trở thành một bước ngoặt tương tự SaaS? Liệu cơ hội của AI có thể là bán lao động đồng thời thay thế phần mềm? Qua Day.ai, chúng tôi đã có thể thoáng thấy tương lai Day là một CRM AI native Các system integrator kiếm hàng tỷ đô la bằng cách cấu hình Salesforce theo nhu cầu của khách hàng Chỉ với quyền truy cập vào email và lịch, cùng câu trả lời cho một bảng câu hỏi dài một trang, Day tự động tạo ra một CRM được tùy chỉnh hoàn hảo cho doanh nghiệp của khách hàng Dù chưa có đầy đủ mọi tính năng, “phép màu” của một CRM được tạo tự động và luôn được cập nhật mà không cần con người can thiệp đã đủ khiến mọi người quyết định chuyển đổi Ngành đầu tư Các nhà đầu tư đang dành thời gian và rót vốn vào đâu? Hạ tầng Đây là sân chơi của các hyperscaler Được dẫn dắt bởi hành vi mang tính game theory hơn là bởi phân tích kinh tế Không phải là lĩnh vực phù hợp với các nhà đầu tư mạo hiểm Mô hình Là lĩnh vực mà các hyperscaler và nhà đầu tư tài chính (FI) đang hoạt động Các hyperscaler đầu tư bằng cách tận dụng bảng cân đối tài sản để tạo lợi nhuận, rồi thu hồi lại dưới dạng chi phí compute trong mảng kinh doanh cloud Các nhà đầu tư tài chính chịu ảnh hưởng bởi thiên kiến “thán phục khoa học” Các mô hình này rất thú vị và đội ngũ cũng xuất sắc, nhưng logic kinh tế lại bị phớt lờ Công cụ cho nhà phát triển và phần mềm hạ tầng Ít hấp dẫn hơn với nhà đầu tư chiến lược nhưng hấp dẫn hơn với nhà đầu tư mạo hiểm Trong giai đoạn chuyển đổi sang cloud, khoảng 15 công ty đạt doanh thu trên 1 tỷ USD đã được tạo ra ở lớp này Dự kiến điều tương tự cũng sẽ diễn ra trong quá trình chuyển đổi sang AI Ứng dụng Đây là lớp hấp dẫn nhất đối với nhà đầu tư mạo hiểm Trong quá trình chuyển đổi sang cloud, khoảng 20 công ty ở lớp ứng dụng đã đạt doanh thu trên 1 tỷ USD Một số lượng công ty tương tự cũng xuất hiện trong làn sóng chuyển đổi sang mobile, và dự kiến xu hướng tương tự sẽ lặp lại trong đợt chuyển đổi AI lần này Suy nghĩ kết thúc Trong giai đoạn tiếp theo của generative AI, tác động của R&D về suy luận dự kiến sẽ lan nhanh và sâu vào lớp ứng dụng Kiến trúc nhận thức trước đây chủ yếu bao gồm các kỹ thuật “gỡ bỏ ràng buộc (unhobbling)”, nhưng giờ đây những năng lực đó đang được tích hợp ngay trong bản thân mô hình, nên các ứng dụng dựa trên agent được kỳ vọng sẽ trở nên tinh vi và vững chắc hơn Trong các phòng thí nghiệm, Reasoning và compute tại thời điểm suy luận (Inference-Time) sẽ tiếp tục là những chủ đề quan trọng, và giờ khi các quy luật scaling mới đã xuất hiện, cuộc cạnh tranh tiếp theo bắt đầu Tuy nhiên, trong những domain cụ thể, việc thu thập dữ liệu thực tế và mã hóa kiến trúc nhận thức chuyên biệt cho domain và ứng dụng vẫn còn khó khăn Các nhà cung cấp ứng dụng ở chặng cuối có thể có lợi thế trong việc giải quyết những vấn đề này Trong tương lai, các hệ thống đa tác nhân như Droid của Factory có thể xuất hiện và lan rộng theo cách mô hình hóa quá trình suy luận và học hỏi mang tính xã hội Các hệ thống đa tác nhân được kỳ vọng có thể đạt được nhiều việc hơn bằng cách hình thành các nhóm có khả năng xử lý nhiều tác vụ cùng lúc Khoảnh khắc mà nhiều người mong đợi là ‘Move 37’ của generative AI, tức thời điểm một hệ thống AI phổ quát thể hiện hành vi siêu phàm, ngoài dự đoán, giống như AlphaGo đã làm trong ván đấu với Lee Sedol Việc khoảnh khắc này xuất hiện không có nghĩa là AI sẽ “có ý thức”, nhưng AI có thể sở hữu khả năng mô phỏng quá trình tri giác, suy luận và hành động để khám phá theo những cách độc đáo và hữu ích Đây có thể là AGI (mức độ tự chủ hoàn toàn của trí tuệ nhân tạo), và đó sẽ không phải là một sự kiện đơn lẻ mà là bước tiếp theo của công nghệ

(sequoiacap.com)

30 điểm bởi xguru 2024-10-21 | 4 bình luận | Chia sẻ qua WhatsApp

Khi cuộc cách mạng Generative AI bước sang năm thứ hai, nghiên cứu đang tiến hóa từ "tư duy nhanh" sang "tư duy chậm"
- "Tư duy nhanh" là phản hồi nhanh đã được tiền huấn luyện, còn "tư duy chậm" là suy luận trong quá trình inference
- Sự tiến hóa này đang làm xuất hiện một kiểu ứng dụng agent mới
Khi tầng nền tảng của thị trường Generative AI dần ổn định, một số ít ông lớn như Microsoft/OpenAI, AWS/Anthropic, Meta và Google/DeepMind đang dẫn dắt thị trường
- Chỉ những công ty lớn có cỗ máy kinh tế và nguồn vốn khổng lồ mới còn trụ lại trong cuộc cạnh tranh
- Cấu trúc thị trường tự thân đang trở nên vững chắc hơn, và việc dự đoán next-token rẻ và dồi dào sẽ trở nên khả thi
Khi cấu trúc thị trường LLM ổn định, một frontier mới đã xuất hiện
- Trọng tâm đang được đặt vào việc phát triển và mở rộng tầng suy luận, nơi lối tư duy "System 2" được ưu tiên
- Lấy cảm hứng từ các mô hình như AlphaGo, tầng này hướng tới việc trao cho hệ thống AI khả năng suy luận cẩn trọng, giải quyết vấn đề và hoạt động nhận thức, vượt lên trên việc chỉ khớp mẫu đơn thuần
- Các kiến trúc nhận thức và giao diện người dùng mới đang định hình cách những năng lực suy luận này được truyền tải tới người dùng và tương tác với họ

Strawberry Fields Forever

Bản cập nhật mô hình quan trọng nhất của năm 2024 là o1 của OpenAI (trước đây được biết đến với tên Q* và cũng được gọi là Strawberry)
- Điều này không chỉ có nghĩa OpenAI đã vươn lên nhóm đầu bảng xếp hạng chất lượng mô hình, mà còn mang lại một cải tiến đáng kể cho kiến trúc hiện trạng
- Cụ thể, đây là mô hình đầu tiên sở hữu "năng lực suy luận tổng quát" thực sự đạt được nhờ tính toán ở thời gian suy luận
Mô hình tiền huấn luyện vs tính toán thời gian suy luận
- Mô hình tiền huấn luyện thực hiện next token prediction bằng cách sử dụng một lượng dữ liệu khổng lồ
- Đặc tính nổi sinh theo quy mô (emergent property) là suy luận cơ bản, nhưng kiểu suy luận này rất hạn chế
- Tính toán thời gian suy luận có nghĩa là yêu cầu mô hình dừng lại và suy nghĩ trước khi đưa ra câu trả lời
- Điều này đòi hỏi nhiều năng lực tính toán hơn trong quá trình suy luận
- Phần "dừng lại và suy nghĩ" chính là reasoning

So sánh AlphaGo và LLM

Vào tháng 3 năm 2016 tại Seoul, AlphaGo đối đầu huyền thoại cờ vây Lee Sedol và tạo nên một trong những khoảnh khắc quan trọng nhất trong lịch sử deep learning
- AlphaGo đã cho thế giới thấy hình ảnh của một "AI biết suy nghĩ", vượt xa việc chỉ bắt chước mẫu hình
Sự khác biệt giữa AlphaGo và các hệ thống AI chơi game trước đó
- Cũng như LLM, AlphaGo được tiền huấn luyện để mô phỏng các chuyên gia con người thông qua cơ sở dữ liệu khoảng 30 triệu nước đi từ các ván đấu trước đó và tự chơi với chính mình
- Nhưng thay vì đưa ra phản ứng tức thời từ mô hình tiền huấn luyện, AlphaGo dành thời gian để dừng lại và suy nghĩ
- Khi suy luận, AlphaGo chạy tìm kiếm hoặc mô phỏng trên một loạt rộng các kịch bản tương lai tiềm năng, đánh giá các kịch bản đó, rồi phản hồi bằng kịch bản (hoặc câu trả lời) có kỳ vọng cao nhất
- AlphaGo được cho càng nhiều thời gian thì hiệu năng càng cải thiện
- Nếu hoàn toàn không có tính toán thời gian suy luận, AlphaGo không thể đánh bại những kỳ thủ hàng đầu của con người
Vì sao khó tái tạo AlphaGo trong LLM
- Rất khó xây dựng một value function để đánh giá câu trả lời
- Với cờ vây, có thể mô phỏng ván đấu đến hết, xem ai thắng rồi tính giá trị kỳ vọng cho nước đi tiếp theo
- Với lập trình, có thể kiểm thử mã và xem nó có hoạt động hay không
- Nhưng những thứ như bản nháp bài luận, lịch trình du lịch hay phần tóm tắt các thuật ngữ cốt lõi của một tài liệu dài lại rất khó đánh giá
- Đây là lý do suy luận khó với các phương pháp hiện tại, và cũng là lý do Strawberry tương đối mạnh trong các lĩnh vực gần với logic hơn (ví dụ: coding, toán học, khoa học) nhưng không như vậy trong các lĩnh vực mở và phi cấu trúc (ví dụ: viết lách)
Nghiên cứu nhằm cải thiện năng lực suy luận của mô hình Strawberry
- Cách triển khai thực tế của Strawberry được bảo vệ chặt chẽ, nhưng ý tưởng cốt lõi có liên quan đến reinforcement learning trên chuỗi suy nghĩ do mô hình tạo ra
- Việc kiểm toán chuỗi suy nghĩ của mô hình cho thấy có điều gì đó nền tảng và thú vị đang diễn ra, tương tự như cách con người suy nghĩ và lập luận
- Ví dụ, o1 đang cho thấy khả năng quay lại khi bị mắc kẹt như một đặc tính nổi sinh của việc scale ở thời gian suy luận
- Nó cũng thể hiện khả năng suy nghĩ về vấn đề theo kiểu con người (ví dụ: hình dung các điểm trên một mặt cầu để giải bài toán hình học) và khả năng suy nghĩ về vấn đề theo cách mới (ví dụ: giải bài toán thi lập trình theo cách khác con người)
- Nhóm nghiên cứu có rất nhiều ý tưởng để thúc đẩy tính toán thời gian suy luận, như các phương pháp mới để tính reward function và các cách mới để thu hẹp khoảng cách generator/verifier nhằm cải thiện năng lực suy luận của mô hình
- Nói cách khác, deep reinforcement learning một lần nữa đang được chú ý, và điều đó đang mở đường cho một tầng suy luận hoàn toàn mới

Bước nhảy từ System 1 sang tư duy System 2

Bước nhảy từ phản xạ bản năng đã được tiền huấn luyện ("System 1") sang suy luận sâu hơn và cẩn trọng hơn ("System 2") là frontier tiếp theo của AI
Việc mô hình chỉ đơn giản là biết điều gì đó là chưa đủ
Mô hình cần dừng lại, đánh giá và suy luận để đưa ra quyết định trong thời gian thực
Tiền huấn luyện tương ứng với tầng System 1
- Dù là học hàng triệu nước cờ vây trong AlphaGo hay học hàng petabyte văn bản quy mô Internet trong LLM, mục tiêu của tiền huấn luyện là bắt chước các mẫu hình như cách con người chơi game hoặc sử dụng ngôn ngữ
- Nhưng bắt chước, dù mạnh đến đâu, vẫn không phải là suy luận thực sự
- Đặc biệt, nó không thể tư duy đúng đắn trong những tình huống phức tạp và mới mẻ nằm ngoài dataset huấn luyện
Tư duy System 2 là trọng tâm của nghiên cứu AI hiện đại
- Khi mô hình "dừng lại và suy nghĩ", nó không chỉ đơn giản tạo ra các mẫu hình đã học hoặc thốt ra dự đoán dựa trên dữ liệu quá khứ
- Nó tạo ra một dải khả năng, cân nhắc các kết quả tiềm năng và đưa ra quyết định dựa trên suy luận
Cách sử dụng phù hợp tư duy System 1 và System 2
- Với nhiều tác vụ, tư duy System 1 là đủ (ví dụ: nghĩ lâu hơn cũng không giúp ích gì khi trả lời thủ đô của Bhutan là gì)
- Nhưng với những vấn đề phức tạp hơn như đột phá trong toán học hay sinh học, phản ứng nhanh và theo bản năng là không đủ
- Những tiến bộ như vậy đòi hỏi tư duy sâu, giải quyết vấn đề sáng tạo và trên hết là thời gian
- AI cũng vậy. Để giải được những vấn đề khó và có ý nghĩa nhất, nó cần dành thời gian vượt ra ngoài các phản ứng nhanh trong phạm vi dataset học được để đưa ra kiểu suy luận thấu đáo vốn định nghĩa tiến bộ của con người

Quy luật scaling mới: khởi đầu cuộc đua suy luận

Insight quan trọng nhất từ bài báo về o1 của OpenAI là một quy luật scaling mới đã xuất hiện
Quy luật scaling của tiền huấn luyện LLM
- Tiền huấn luyện LLM tuân theo một quy luật scaling đã được hiểu khá rõ
- Càng dùng nhiều compute và dữ liệu để tiền huấn luyện mô hình, hiệu năng càng tăng
Quy luật scaling mới của tính toán thời gian suy luận
- Bài báo về o1 đã mở ra một chiều kích mới cho việc mở rộng compute
- Càng cung cấp cho mô hình nhiều compute ở thời gian suy luận (hoặc "test time") thì năng lực suy luận càng được cải thiện
Điều gì sẽ xảy ra nếu mô hình có thể suy nghĩ trong vài giờ, vài ngày hay vài chục năm?
- Liệu nó có thể giải được giả thuyết Riemann không?
- Liệu nó có thể trả lời câu hỏi cuối cùng của Asimov không?
Chuyển dịch từ các cụm tiền huấn luyện quy mô lớn sang inference cloud
- Sự thay đổi này sẽ đưa chúng ta từ thế giới của các cụm tiền huấn luyện quy mô lớn sang inference cloud
- Inference cloud là môi trường có thể mở rộng compute một cách linh hoạt theo độ phức tạp của tác vụ

Liệu một mô hình có thống trị tất cả?

Điều gì sẽ xảy ra khi OpenAI, Anthropic, Google, Meta và các công ty khác mở rộng tầng suy luận và phát triển những cỗ máy suy luận mạnh hơn?
Liệu một mô hình có thống trị tất cả?
Một giả thuyết từng cho rằng một công ty sở hữu mô hình duy nhất sẽ trở nên quá mạnh và hấp thụ mọi ứng dụng khác
- Dự đoán này đến nay đã được chứng minh là sai ở hai khía cạnh
- Thứ nhất, ở tầng mô hình có rất nhiều đối thủ cạnh tranh liên tục ganh đua về năng lực SOTA
  - Dù vẫn có khả năng ai đó đạt được tự cải thiện liên tục thông qua tự học trên phạm vi miền rộng và cất cánh thành công, nhưng hiện vẫn chưa có bằng chứng như vậy
  - Ngược lại, tầng mô hình là một đấu trường cạnh tranh khốc liệt, và giá mỗi token của GPT-4 đã giảm 98% kể từ kỳ Developer Day trước đó
- Thứ hai, các mô hình đang gặp khó khăn khi tiến lên tầng ứng dụng
  - Ngoại trừ ChatGPT, các mô hình nhìn chung đã thất bại trong việc trở thành sản phẩm đột phá ở tầng ứng dụng
  - Bởi vì thế giới thực rất phức tạp
  - Các nhà nghiên cứu giỏi không muốn hiểu chi tiết workflow end-to-end cho mọi tính năng khả dĩ của mọi thị trường ngách có thể có
  - Việc các nhà nghiên cứu dừng lại ở API và để hệ sinh thái nhà phát triển xử lý sự phức tạp của thế giới thực là điều hấp dẫn và hợp lý về mặt kinh tế
  - Đây là tin tốt cho tầng ứng dụng

Thế giới thực phức tạp: nhu cầu về kiến trúc nhận thức tùy biến

Cách bạn lên kế hoạch và thực hiện hành động để đạt mục tiêu với tư cách một nhà khoa học rất khác với cách bạn làm việc với tư cách một kỹ sư phần mềm
Và ngay cả cách làm việc của các kỹ sư phần mềm ở những công ty khác nhau cũng khác nhau
Dù các phòng thí nghiệm đang tiếp tục đẩy xa giới hạn của suy luận đa dụng theo chiều ngang, vẫn cần suy luận đặc thù cho ứng dụng hoặc miền để cung cấp tác nhân AI thực sự hữu ích
Thế giới thực phức tạp đòi hỏi lượng lớn suy luận đặc thù theo miền và ứng dụng mà một mô hình tổng quát không thể mã hóa hiệu quả
Sự xuất hiện của kiến trúc nhận thức
- Kiến trúc nhận thức là cách hệ thống suy nghĩ, tức luồng mã và tương tác với mô hình nhận đầu vào người dùng rồi thực hiện hành động hoặc tạo phản hồi
- Ví dụ, với Factory, mỗi sản phẩm "droid" đều có một kiến trúc nhận thức tùy biến mô phỏng cách con người suy nghĩ để giải quyết một tác vụ cụ thể, như review pull request hoặc lập và thực thi kế hoạch migration cho việc cập nhật dịch vụ backend-to-backend
- Droid của Factory phân tích mọi dependency, đề xuất các thay đổi mã liên quan, thêm unit test và lôi kéo con người vào để review
- Sau đó, khi được phê duyệt, nó thực thi các thay đổi trên mọi tệp trong môi trường phát triển, và nếu tất cả bài kiểm thử đều qua thì sẽ merge code
- Điều này giống với cách con người suy nghĩ dưới dạng một chuỗi tác vụ riêng biệt, thay vì một câu trả lời duy nhất mang tính khái quát và như hộp đen

Điều gì đang diễn ra với App?

Nếu muốn khởi nghiệp AI, nên nhắm vào tầng nào?
- Để cạnh tranh ở tầng hạ tầng, bạn phải đánh bại NVIDIA và các hyperscaler
- Để cạnh tranh ở tầng mô hình, bạn phải đánh bại OpenAI và Mark Zuckerberg
- Để cạnh tranh ở tầng ứng dụng, bạn phải đánh bại IT doanh nghiệp và các nhà tích hợp hệ thống toàn cầu
- Cạnh tranh ở tầng ứng dụng có vẻ khả thi nhất
Cơ hội ở tầng ứng dụng
- Mô hình nền tảng vừa kỳ diệu nhưng cũng phức tạp
- Doanh nghiệp đại trà không thể xử lý các hộp đen, hiện tượng hallucination và workflow vụng về
- Người tiêu dùng nhìn vào một prompt trống và không biết nên yêu cầu điều gì
- Đây là cơ hội của tầng ứng dụng
Hai năm trước, nhiều công ty ở tầng ứng dụng bị chê là "chỉ là wrapper trên GPT-3"
- Ngày nay, những wrapper đó lại được chứng minh là một trong số ít cách lành mạnh để xây dựng giá trị bền vững
- Những gì bắt đầu là "wrapper" đã tiến hóa thành "kiến trúc nhận thức"
Đặc điểm của các công ty AI ở tầng ứng dụng
- Không chỉ đơn giản đặt UI lên trên mô hình nền tảng
- Họ thường có kiến trúc nhận thức tinh vi, thường bao gồm:
  - nhiều mô hình nền tảng với một cơ chế routing nào đó ở phía trên
  - cơ sở dữ liệu vector và/hoặc graph cho RAG
  - guardrail để đảm bảo tuân thủ
  - logic ứng dụng mô phỏng cách suy luận thông qua workflow

Service-as-a-Software

Quá trình chuyển dịch lên cloud là "Software-as-a-Service". Các công ty phần mềm trở thành nhà cung cấp dịch vụ đám mây, và đó là một cơ hội trị giá 350 tỷ USD
Nhờ suy luận tác nhân, quá trình chuyển dịch AI là "Service-as-a-Software". Các công ty phần mềm đang chuyển lực lượng lao động thành phần mềm
Điều này có nghĩa là thị trường mục tiêu không phải thị trường phần mềm mà là thị trường dịch vụ trị giá hàng nghìn tỷ USD
Bán công việc có nghĩa là gì
- Sierra là một ví dụ điển hình
- Các công ty B2C triển khai Sierra trên website của họ để trò chuyện với khách hàng
- Job-to-be-done là giải quyết vấn đề của khách hàng
- Sierra tính phí theo số ca được giải quyết
- Không có thứ gì như "seat". Bạn có một công việc cần làm, Sierra xử lý công việc đó và tính phí tương ứng
- Đây là ngôi sao Bắc Cực thực sự của nhiều công ty AI
Ưu điểm của Sierra và thách thức của các công ty khác
- Sierra có lợi thế về một chế độ thất bại thanh nhã (escalate sang nhân viên tư vấn con người)
- Không phải công ty nào cũng may mắn như vậy
- Mẫu hình mới là trước tiên triển khai với human-in-the-loop, rồi dùng trải nghiệm đó để mở ra cơ hội triển khai autopilot với human-out-of-the-loop
- GitHub Copilot là một ví dụ điển hình cho điều này

Một kiểu ứng dụng tác nhân mới đang bắt đầu xuất hiện

Nhờ các năng lực suy luận mới của Generative AI, một loại ứng dụng tác nhân mới đang bắt đầu xuất hiện
Điều thú vị là các công ty ở tầng ứng dụng này trông khác với các công ty cloud trước đây:
- Các công ty cloud nhắm tới doanh thu phần mềm, còn các công ty AI nhắm tới doanh thu dịch vụ
- Các công ty cloud bán phần mềm ($/seat), còn các công ty AI bán công việc ($/kết quả)
- Các công ty cloud ưa chuộng cách tiếp cận bottom-up với phân phối ít ma sát, còn các công ty AI ngày càng đi theo cách tiếp cận top-down với mô hình triển khai high-touch, high-trust
Ví dụ về các ứng dụng tác nhân đang xuất hiện trong mọi lĩnh vực của nền kinh tế tri thức
- Harvey: luật sư AI
- Glean: trợ lý công việc AI
- Factory: kỹ sư phần mềm AI
- Abridge: chuyên viên ghi chép y khoa AI
- XBOW: chuyên gia pentest AI
- Sierra: tác nhân hỗ trợ khách hàng AI
Bằng cách hạ chi phí cận biên để cung cấp các dịch vụ này xuống mức tương tự như đà giảm mạnh của chi phí suy luận, các ứng dụng tác nhân đang mở rộng và tạo ra những thị trường mới
XBOW là một ví dụ điển hình:
- XBOW đang xây dựng một "pentester" AI
- "Pentest" hay kiểm thử xâm nhập là một cuộc tấn công mạng mô phỏng vào hệ thống máy tính mà doanh nghiệp thực hiện để đánh giá hệ thống bảo mật của chính mình
- Trước Generative AI, do pentest bởi con người rất đắt đỏ (vì là công việc thủ công do nhân sự lành nghề thực hiện), các doanh nghiệp chỉ thuê pentester trong các tình huống hạn chế, chẳng hạn khi cần để tuân thủ quy định
- Nhưng hiện nay XBOW đang trình diễn pentest tự động dựa trên các LLM suy luận tiên tiến, với hiệu năng ngang ngửa những pentester con người lành nghề nhất
- Điều này mở rộng thị trường pentest và mở ra khả năng pentest liên tục cho các doanh nghiệp ở mọi quy mô và hình thái

Điều này tác động gì đến ngành SaaS?

Khi gặp các LP vào đầu năm nay, câu hỏi chúng tôi nhận được nhiều nhất là: “Liệu quá trình chuyển đổi sang AI có phá hủy các công ty cloud hiện tại không?”
Chúng tôi bắt đầu với một giả định nền tảng rất mạnh là “không”
- Cuộc chiến kinh điển giữa startup và doanh nghiệp hiện hữu giống như một cuộc đua, nơi startup xây dựng phân phối còn doanh nghiệp hiện hữu xây dựng sản phẩm
- Liệu các công ty trẻ có sản phẩm tuyệt vời có thể tiếp cận khách hàng trước khi các doanh nghiệp hiện hữu đang sở hữu khách hàng tung ra sản phẩm tuyệt vời hay không?
- Xét đến việc phần lớn “phép màu” của AI đến từ các foundation model, giả định cơ bản của chúng tôi là “không”
- Các doanh nghiệp hiện hữu cũng có thể tiếp cận foundation model như startup, đồng thời có sẵn lợi thế về dữ liệu và phân phối, nên họ sẽ làm tốt
- Cơ hội chính của startup không phải là thay thế các công ty phần mềm hiện hữu, mà là nhắm vào nhóm công việc có thể được tự động hóa
Tuy nhiên, giờ đây chúng tôi không còn chắc chắn như vậy nữa
- Hãy tham khảo nội dung đã đề cập ở trên về kiến trúc nhận thức
- Cần một khối lượng kỹ thuật khổng lồ để biến năng lực thô của mô hình thành các giải pháp kinh doanh end-to-end vừa thuyết phục vừa đáng tin cậy
- Có phải chúng ta đang đánh giá quá thấp một cách nghiêm trọng ý nghĩa của “AI native” không?
20 năm trước, các công ty phần mềm on-premise từng cười nhạo ý tưởng SaaS
- “Chẳng có gì to tát. Chúng tôi cũng có thể tự vận hành máy chủ và cung cấp thứ này qua internet mà!”
- Về mặt khái niệm thì đơn giản, nhưng sau đó là một sự tái tạo toàn diện của doanh nghiệp:
  - EPD chuyển từ mô hình thác nước và PRD sang phát triển agile và A/B testing
  - GTM chuyển từ sales doanh nghiệp top-down và những bữa tối steak sang PLG bottom-up và product analytics
  - Mô hình kinh doanh chuyển từ ASP cao và dòng doanh thu bảo trì sang NDR cao và định giá theo mức sử dụng
- Rất ít công ty on-premise chuyển đổi thành công
Liệu AI có thể trở thành một bước ngoặt tương tự SaaS? Liệu cơ hội của AI có thể là bán lao động đồng thời thay thế phần mềm?
Qua Day.ai, chúng tôi đã có thể thoáng thấy tương lai
- Day là một CRM AI native
- Các system integrator kiếm hàng tỷ đô la bằng cách cấu hình Salesforce theo nhu cầu của khách hàng
- Chỉ với quyền truy cập vào email và lịch, cùng câu trả lời cho một bảng câu hỏi dài một trang, Day tự động tạo ra một CRM được tùy chỉnh hoàn hảo cho doanh nghiệp của khách hàng
- Dù chưa có đầy đủ mọi tính năng, “phép màu” của một CRM được tạo tự động và luôn được cập nhật mà không cần con người can thiệp đã đủ khiến mọi người quyết định chuyển đổi

Ngành đầu tư

Các nhà đầu tư đang dành thời gian và rót vốn vào đâu?
Hạ tầng
- Đây là sân chơi của các hyperscaler
- Được dẫn dắt bởi hành vi mang tính game theory hơn là bởi phân tích kinh tế
- Không phải là lĩnh vực phù hợp với các nhà đầu tư mạo hiểm
Mô hình
- Là lĩnh vực mà các hyperscaler và nhà đầu tư tài chính (FI) đang hoạt động
- Các hyperscaler đầu tư bằng cách tận dụng bảng cân đối tài sản để tạo lợi nhuận, rồi thu hồi lại dưới dạng chi phí compute trong mảng kinh doanh cloud
- Các nhà đầu tư tài chính chịu ảnh hưởng bởi thiên kiến “thán phục khoa học”
- Các mô hình này rất thú vị và đội ngũ cũng xuất sắc, nhưng logic kinh tế lại bị phớt lờ
Công cụ cho nhà phát triển và phần mềm hạ tầng
- Ít hấp dẫn hơn với nhà đầu tư chiến lược nhưng hấp dẫn hơn với nhà đầu tư mạo hiểm
- Trong giai đoạn chuyển đổi sang cloud, khoảng 15 công ty đạt doanh thu trên 1 tỷ USD đã được tạo ra ở lớp này
- Dự kiến điều tương tự cũng sẽ diễn ra trong quá trình chuyển đổi sang AI
Ứng dụng
- Đây là lớp hấp dẫn nhất đối với nhà đầu tư mạo hiểm
- Trong quá trình chuyển đổi sang cloud, khoảng 20 công ty ở lớp ứng dụng đã đạt doanh thu trên 1 tỷ USD
- Một số lượng công ty tương tự cũng xuất hiện trong làn sóng chuyển đổi sang mobile, và dự kiến xu hướng tương tự sẽ lặp lại trong đợt chuyển đổi AI lần này

Suy nghĩ kết thúc

Trong giai đoạn tiếp theo của generative AI, tác động của R&D về suy luận dự kiến sẽ lan nhanh và sâu vào lớp ứng dụng
Kiến trúc nhận thức trước đây chủ yếu bao gồm các kỹ thuật “gỡ bỏ ràng buộc (unhobbling)”, nhưng giờ đây những năng lực đó đang được tích hợp ngay trong bản thân mô hình, nên các ứng dụng dựa trên agent được kỳ vọng sẽ trở nên tinh vi và vững chắc hơn
Trong các phòng thí nghiệm, Reasoning và compute tại thời điểm suy luận (Inference-Time) sẽ tiếp tục là những chủ đề quan trọng, và giờ khi các quy luật scaling mới đã xuất hiện, cuộc cạnh tranh tiếp theo bắt đầu
Tuy nhiên, trong những domain cụ thể, việc thu thập dữ liệu thực tế và mã hóa kiến trúc nhận thức chuyên biệt cho domain và ứng dụng vẫn còn khó khăn
Các nhà cung cấp ứng dụng ở chặng cuối có thể có lợi thế trong việc giải quyết những vấn đề này
Trong tương lai, các hệ thống đa tác nhân như Droid của Factory có thể xuất hiện và lan rộng theo cách mô hình hóa quá trình suy luận và học hỏi mang tính xã hội
Các hệ thống đa tác nhân được kỳ vọng có thể đạt được nhiều việc hơn bằng cách hình thành các nhóm có khả năng xử lý nhiều tác vụ cùng lúc
Khoảnh khắc mà nhiều người mong đợi là ‘Move 37’ của generative AI, tức thời điểm một hệ thống AI phổ quát thể hiện hành vi siêu phàm, ngoài dự đoán, giống như AlphaGo đã làm trong ván đấu với Lee Sedol
Việc khoảnh khắc này xuất hiện không có nghĩa là AI sẽ “có ý thức”, nhưng AI có thể sở hữu khả năng mô phỏng quá trình tri giác, suy luận và hành động để khám phá theo những cách độc đáo và hữu ích
Đây có thể là AGI (mức độ tự chủ hoàn toàn của trí tuệ nhân tạo), và đó sẽ không phải là một sự kiện đơn lẻ mà là bước tiếp theo của công nghệ

4 bình luận

lsw4uto 2024-11-11

Tôi rất mong đợi xem trí tuệ nhân tạo ngày càng thông minh hơn có thể giải quyết được những vấn đề nào.

aer0700 2024-10-27

Nếu mô hình có thể suy nghĩ thật lâu và giải được giả thuyết Riemann, thì tác động lan tỏa sẽ vô cùng lớn.

pmc7777 2024-10-21

Nếu muốn cạnh tranh ở tầng mô hình thì phải đánh bại OpenAI và Mark Zuckerberg

Buồn cười ở chỗ họ không nhắc đến Meta mà lại nhắc thẳng Zuckerberg nhỉ, haha

kotzen 2024-10-21

Nếu trong bài tóm tắt không nêu rõ thì xin ghi chú thêm phòng trường hợp cần: System 1 và System 2 là các khái niệm xuất hiện trong cuốn Thinking, Fast and Slow.
System 1: kiểu tư duy nhanh, hành động vô thức hoặc theo trực giác mà không cần suy nghĩ sâu, ví dụ: lái xe, đi bộ
System 2: kiểu tư duy chậm, cần suy nghĩ logic và tập trung kỹ lưỡng, ví dụ: nhẩm tính