- Các mô hình frontier của OpenAI sẽ được đưa vào môi trường runtime agent native của AWS trong Amazon Bedrock, kết hợp dưới dạng managed agent cho doanh nghiệp thay vì chỉ cung cấp mô hình đơn thuần
- Bedrock Managed Agents gói chung identity, permissions, logging, governance và deployment, giúp khách hàng vận hành agent trong môi trường doanh nghiệp nhanh hơn mà không phải tự lắp ghép từng thành phần
- Hiệu năng agent hiện nay không chỉ do bản thân mô hình quyết định mà còn phụ thuộc lớn vào mức độ gắn kết với harness gồm tools, state, memory, permissions và evals; AWS và OpenAI đang cùng xử lý phần kết hợp này như một sản phẩm chung
- Dữ liệu khách hàng được giữ bên trong AWS VPC, còn mô hình OpenAI chạy thông qua Bedrock, với kênh hỗ trợ cũng được vận hành chủ yếu bởi AWS
- Giống như điện toán đám mây thời kỳ đầu đã mở đường cho startup, sự kết hợp lần này cũng đi theo xu hướng hạ thấp rào cản triển khai AI, đồng thời cho thấy tham vọng trở thành một lớp nền tảng mới cùng với nhu cầu frontier đang tăng nhanh
AWS, startup và tốc độ triển khai AI
- Mô hình cloud ban đầu của AWS đã biến hạ tầng từng chỉ doanh nghiệp lớn mới có được thành thứ có thể dùng chỉ với vài đô la và một thẻ tín dụng, theo cách không cần định trước nhà phát triển sẽ xây gì, từ đó mở rộng mạnh mẽ phạm vi sáng tạo trên Internet
- Mức độ lan tỏa của AI cũng được đánh giá tương tự, thậm chí còn lớn hơn
- Cấu trúc mà trước đây phải học lập trình 10 năm mới làm được ứng dụng đang suy yếu
- Ngay cả nhóm nhỏ cũng có thể xây dựng và lặp lại cải tiến rất nhanh mà không cần đội ngũ hàng trăm người hay chu kỳ phát triển dài
- AI đang trở thành công cụ mở ra đổi mới mới trong nhiều lĩnh vực trên toàn cầu
- Khác với những năm đầu cloud, tốc độ chấp nhận AI đang diễn ra rất nhanh
- Năm 2006, cloud còn phải mất rất nhiều thời gian để giải thích vì sao “một công ty bán sách lại cung cấp hạ tầng tính toán”, còn AI thì mọi người hiểu nhanh hơn nhiều
- Quá trình chuyển từ chatbot thông minh đơn thuần sang thực hiện công việc nội bộ trong doanh nghiệp vẫn cần giáo dục thị trường, nhưng xét theo tốc độ thay đổi công nghệ thì vẫn diễn ra khá nhanh
- Chuyển đổi nền tảng cho startup có thể tóm gọn thành bốn làn sóng: Internet, cloud, mobile, AI
- Thời kỳ đầu của YC, cloud như AWS đã giúp có thể khởi nghiệp với số vốn nhỏ hơn rất nhiều
- Những rào cản như thuê chỗ colo, tự lắp ráp server và phải huy động một khoản tiền lớn trước đã giảm mạnh
- Giả định rằng chỉ riêng chi phí server đã cần tới hàng chục nghìn đô la bị phá vỡ, cho phép mô hình khởi nghiệp vốn nhỏ hình thành
- Startup thường dễ thắng doanh nghiệp lớn hơn trong giai đoạn chuyển đổi nền tảng lớn khi họ có thể vận hành với chu kỳ ngắn hơn và ít vốn hơn
- Trên nền AI hiện tại cũng đang thấy xu hướng tương tự
- Bên trong YC, tốc độ tăng doanh thu hiện nhanh tới mức ngay trong khoảng thời gian từ đầu đến cuối một batch, kỳ vọng doanh thu của các công ty tốt cũng đã thay đổi rõ rệt so với trước
- AWS hiện vẫn được xem là cloud được nhiều startup giai đoạn tăng trưởng sử dụng
- scale, availability, security, reliability, cùng hệ sinh thái đối tác ISV và tệp khách hàng sẵn có trong AWS, được xem là những lợi thế gắn kết với nhau
- Không chỉ cung cấp credit mà còn hỗ trợ tư vấn thiết kế hệ thống và go-to-market, tiếp tục coi startup là nền tảng cốt lõi của AWS
- Mỗi quý, AWS đều trực tiếp gặp startup để kiểm tra xem sản phẩm có thực sự phù hợp hay không
- Trong startup ngày nay, mô hình compute phổ thông dùng AWS, còn AI dùng OpenAI API là một mẫu hình rất phổ biến
Bedrock Managed Agents và hướng đi sản phẩm chung
- Bedrock Managed Agents không chỉ là việc đưa mô hình OpenAI vào AWS, mà được mô tả như việc đặt các mô hình frontier của OpenAI vào môi trường runtime agent native của AWS
- Các yếu tố vận hành như identity, permission state, logging, governance và deployment được gói cùng nhau
- Giai đoạn AI tiếp theo đang vượt ra khỏi kiểu nhập văn bản và nhận văn bản, tiến tới stateful agent có thể thực sự làm việc bên trong công ty
- Cách gọi “virtual co-workers” chưa hoàn hảo, nhưng hiện là cách nói ít gượng nhất
- Toàn ngành vẫn chưa hoàn toàn thống nhất sẽ gọi nhóm hệ thống này là gì và sử dụng nó như thế nào
- Codex được đưa ra như một ví dụ rất rõ cho xu hướng này
- Điều quan trọng là công việc mong muốn thực sự xảy ra, còn người dùng sẽ không còn phân biệt được phần nào là đóng góp của mô hình và phần nào là của harness
- Mức độ gắn kết giữa mô hình và harness được xem là cốt lõi của hiệu năng agent
- tools, state, memory, permissions và evals chi phối mạnh việc hệ thống có hoạt động thực tế tốt hay không
- Điều này không hoàn toàn giống pre-training, nhưng sự gắn kết diễn ra cả ở mức post-training lẫn prompt
- tool-calling, vốn trông như một thành phần tách biệt ở giai đoạn đầu, theo thời gian đang được tích hợp sâu hơn vào quá trình huấn luyện
- Trong tương lai, model và harness, cũng như pre-training và post-training, có thể sẽ gắn kết chặt hơn nữa
- Mức độ trưởng thành của ngành vẫn được mô tả là còn rất sớm, đến mức được ví với thời Homebrew Computer Club
- Hợp tác giữa AWS và OpenAI tập trung vào việc gói lại những phần trước đây khách hàng phải tự lắp ghép, để rút ngắn thời gian đi đến giá trị trong môi trường doanh nghiệp
- Khách hàng muốn mô hình và agent có thể duy trì ký ức và phối hợp trơn tru với nhau
- Họ muốn kết nối không chỉ công cụ của bên thứ ba mà cả công cụ nội bộ, dữ liệu nội bộ, ứng dụng nội bộ và môi trường vận hành nội bộ
- Cho đến nay, các công việc tích hợp như vậy chủ yếu do từng khách hàng tự đảm nhận
- Trong sản phẩm chung, identity được tích hợp sẵn, còn xác thực cơ sở dữ liệu cũng được thiết kế để diễn ra bên trong AWS VPC
- Mục tiêu không chỉ là tăng tính tiện lợi, mà còn làm được cả những thứ dù lắp ghép cực kỳ vất vả theo cách cũ vẫn chưa thể triển khai đáng tin cậy
- Tình trạng hiện tại được mô tả là nhà phát triển phải chịu quá nhiều đau đớn và thao tác thủ công khi xây thứ gì đó dựa trên mô hình
- Ngay cả khi dùng ChatGPT, việc sao chép-dán và ghép prompt phức tạp vẫn rất nhiều
- Ma sát đó rồi sẽ biến mất, nhưng hiện tại thị trường vẫn ở giai đoạn rất sớm và còn nhiều bất tiện
- Sự hợp tác lần này cũng là kết quả của việc nhu cầu từ khách hàng đã ở trên AWS muốn dùng công nghệ OpenAI, đồng thời OpenAI cũng muốn mở rộng khả năng tiếp cận khách hàng AWS
- Điểm nhấn nằm nhiều hơn ở việc cùng nhau xây một sản phẩm mới chứ không chỉ phân phối mô hình
- Sau một năm nhìn lại, kỳ vọng là điều còn đọng lại quan trọng hơn sẽ không phải chỉ là “đã có thể truy cập mô hình OpenAI qua AWS” mà là ý nghĩa của sản phẩm mới này
- Ở cấp độ model, harness và capability, đây gần như là một phương thức tính toán mới hơn là kiểu gọi API mô hình truyền thống
AgentCore, Managed Agents và mô hình vận hành
- AgentCore được giới thiệu là một tập hợp primitive cho agent như memory, môi trường thực thi an toàn và cơ chế cấp quyền
- Bedrock Managed Agents là lớp sản phẩm cao hơn được AWS và OpenAI đồng xây dựng, kết hợp mô hình OpenAI với nhiều yếu tố vận hành trên nền các thành phần của AgentCore
- Chỉ với AgentCore, người dùng cũng có thể tự xây agentic workflow
- Đã có khách hàng chạy cách này trong production và sử dụng thực tế
- Ngay lúc này, cũng có thể dùng AgentCore theo cách gọi ra mô hình OpenAI từ bên ngoài
- Dù không phải hình thức gắn native vào Bedrock, vẫn có khách hàng trực tiếp gọi mô hình OpenAI ở cloud khác
- AWS xem đây là một hệ sinh thái mở
- Cách tự kết hợp những năng lực cần thiết để tự xây vẫn sẽ tiếp tục tồn tại
- Cũng như vẫn sẽ có người thích tự ráp máy tính ở nhà, sẽ còn những builder muốn tự xây agent trong thời gian dài
- Tuy nhiên, phần lớn khách hàng muốn một cách làm dễ hơn mà không phải tự cấu hình mọi mảnh ghép, và đợt ra mắt hợp tác này nhắm vào đúng nhu cầu đó
- Việc dùng OpenAI trên Azure được xem là trải nghiệm truy cập API trực tiếp, còn công bố lần này trên Amazon được định vị là một managed service khác biệt
- Managed agent service này hiện được triển khai độc quyền với Amazon
- Đây không đơn thuần là dùng Amazon API, mà là một nỗ lực chung của hai công ty
- Dữ liệu khách hàng vẫn nằm trong AWS
- Toàn bộ ở lại trong VPC và được bảo vệ bên trong môi trường Bedrock
- Mô hình OpenAI chạy thông qua Bedrock, với hạ tầng sử dụng kết hợp Trainium và GPU
- Một phần do vấn đề thời điểm, một phần do vấn đề capabilities
- Về lâu dài, tỷ trọng lớn hơn sẽ dần chuyển sang Trainium
- OpenAI cũng tỏ ra rất kỳ vọng vào việc mô hình của mình chạy trên Trainium
- Khi vận hành mô hình OpenAI trong môi trường AWS, đầu mối hỗ trợ cấp một sẽ là AWS
- Khách hàng nhận hỗ trợ qua AWS support và quản lý tài khoản AWS
- Trong quá trình triển khai, nhân sự từ OpenAI cũng tham gia để cùng điều phối cách sử dụng
- Những lỗi cần tới OpenAI sẽ được AWS escalated sang OpenAI
Local, cloud, quyền hạn và ranh giới bảo mật
- Codex ban đầu khởi đầu trên cloud nhưng sau đó lại quay về hướng chạy local trong thực tế
- Lý do local dễ hơn là vì môi trường đã sẵn có ở đó
- Cấu hình máy tính, dữ liệu và quyền truy cập file đều đã tồn tại, nên cần ít thiết lập bổ sung hơn
- Dù chưa phải trạng thái cuối cùng, trong ngắn hạn độ tiện dụng vẫn là yếu tố quan trọng hơn
- Về dài hạn, hướng đi hữu ích được mô tả là agent sẽ chạy trên cloud, và khi công việc quá nặng hoặc trong tình huống phải đóng máy tính thì có thể đẩy sang cloud
- Client local vẫn có lợi thế riêng
- Giống như ứng dụng iPhone vẫn có thành phần local, nó có ưu thế về connectivity, latency, local compute, cũng như quyền truy cập file và ứng dụng
- Tuy nhiên không thể scale-out chính chiếc laptop, nên giới hạn mở rộng là rất rõ ràng
- Trong môi trường doanh nghiệp, cách làm local trở nên khó hơn
- Chỉ cần phải chia sẻ giữa hai người là độ phức tạp đã tăng lên
- Việc xử lý permissions và security boundary cũng phức tạp hơn
- Cuối cùng sẽ cần một cầu nối nối local và cloud
- Với agent, việc phát triển ngay trong môi trường sẽ triển khai là điều tự nhiên hơn, còn thiết kế identity và permission vẫn là một vùng còn rất dang dở
- Liệu agent có nên dùng nguyên tài khoản của con người hay không
- Hay agent nên có tài khoản riêng
- Nếu có nhiều agent thì phải phân biệt chúng như thế nào
- Thậm chí hiện còn chưa có một primitive kiểu như “agent của Ben đăng nhập với danh tính Ben nhưng vẫn ghi rõ đó không phải Ben thật mà là agent”
- Khi agent dần được đưa vào lực lượng lao động và mức độ tự chủ lẫn độ phức tạp công việc tăng lên, các mô hình kiểm soát truy cập và quyền hạn trong nội bộ doanh nghiệp cũng như trên Internet sẽ phải cùng tiến hóa
- Càng chuyển lên cloud, tổ chức trung tâm càng có thể nắm kiểm soát bảo mật mạnh hơn
- Khách hàng rất thích tiềm năng của mô hình mạnh và agent mạnh, nhưng nỗi lo lớn nhất lại là những sự cố có thể vô tình làm công ty sụp đổ
- Có thể kiểm soát ranh giới bằng cách buộc agent chạy trong VPC, đi qua một gateway cụ thể, hoặc được gán quyền như một role trong môi trường
- Điều này nối tiếp lợi thế từ cấu trúc bảo mật mà AWS đã xây suốt 20 năm, nhờ đó không chỉ startup mà cả ngân hàng toàn cầu, tổ chức y tế và cơ quan chính phủ cũng có thể sử dụng
- Với các tổ chức ngại rủi ro, guardrail trong sandbox thậm chí còn giúp mở rộng việc triển khai hơn
AI stack và kiến trúc doanh nghiệp
- Khách hàng doanh nghiệp muốn một lớp quản trị có thể kết nối dữ liệu với agent, đồng thời cung cấp theo dõi chi tiêu token và khả năng giám sát
- Các khách hàng doanh nghiệp lớn liên tục yêu cầu một gói bao gồm agent runtime environment, lớp quản trị và workspace cho nhân viên
- Một ví dụ cho workspace nhân viên là dạng như Codex
- Nhu cầu với kiểu đóng gói này khá nhất quán, nhưng phần cung cấp thực tế vẫn cần được xây thêm
- Có sự đồng thuận rằng trong tổ chức sẽ cần một middleware / middle layer băng qua nhiều cơ sở dữ liệu, ứng dụng SaaS và dữ liệu phân tán
- Trong cấu trúc hiện tại, có vẻ cần cả lớp user agent phụ trách tương tác với người dùng lẫn lớp quản trị phía công ty
- Phía người dùng sẽ tương tác với nhiều agent, và cũng có những cách xây để các agent đó trò chuyện với nhau
- Phía công ty cần nhiều control để quản lý khi AI đi khám phá file system và các khu vực khác
- Tuy nhiên, nếu mô hình trở nên đủ thông minh, toàn bộ cấu trúc này cũng có thể được thiết kế lại
- Cấu trúc hai lớp hiện tại là cách phù hợp với thế giới hôm nay
- Chưa ai biết chính xác kiến trúc tương lai sẽ ra sao
- Đến một thời điểm nào đó, người ta có thể kết luận rằng “thứ này đơn giản là phải nằm trong chính mô hình”
- Thông qua quá trình khách hàng thực sự dùng và xây dựng, mọi người sẽ học được cần làm điều gì dễ hơn, nhanh hơn và tốt hơn
Nhu cầu, năng lực và phân tầng mô hình
- OpenAI cho biết họ đang đổ vào mảng này lượng compute mua vào rất lớn cùng nỗ lực đáng kể, và cũng kỳ vọng doanh thu tương xứng
- Nhu cầu đối với trí tuệ, nếu giá đủ thấp, được xem là gần như không có trần trên thực tế
- Hiện tại, rào cản lớn hơn dường như không phải giá mà là thiếu năng lực cung ứng
- Có nhiều khách hàng muốn thêm capacity và sẵn sàng trả thêm tiền hơn là khách hàng tranh cãi về giá
- Có niềm tin rõ ràng rằng chi phí cho mức trí tuệ hiện tại rồi sẽ giảm rất mạnh trong tương lai
- Một tín hiệu gây ngạc nhiên là phần đáng kể của nhu cầu thị trường đang tập trung vào absolute frontier
- Xu hướng khách hàng tiếp tục muốn mô hình tiên tiến nhất mạnh hơn dự đoán rằng thế hệ mô hình trước cũng đã đủ dùng
- Giống như chi phí compute đã giảm mạnh suốt nhiều thập kỷ nhưng sản lượng bán ra vẫn tiếp tục tăng, AI cũng có thể đi theo quỹ đạo mở rộng nhu cầu tương tự
- Ở thời điểm hiện nay, để làm được công việc thực sự hữu ích thì trong nhiều trường hợp vẫn cần mô hình frontier, nên ai cũng muốn dùng hướng đó
- Theo thời gian, nhiều khả năng sẽ hình thành một cấu trúc pha trộn giữa mô hình nhỏ, rẻ, nhanh và mô hình siêu lớn
- Một số mô hình nhỏ, theo thời gian, thậm chí có thể xử lý cả những việc mà ngay cả mô hình OpenAI tiên tiến hiện tại vẫn chưa làm được
- Các mô hình siêu lớn có thể hướng tới những vấn đề lớn hơn như chữa ung thư
- Hiện mọi thứ vẫn còn ở giai đoạn đầu, và chính việc nhu cầu lẫn tăng trưởng cùng xuất hiện ở quy mô này làm cho tiềm năng tương lai trở nên rất lớn
Trainium, lớp trừu tượng và compute nội bộ
- Trước câu hỏi liệu Trainium dù tên gọi như vậy nhưng tương lai có thể nổi bật hơn ở inference hay không, AWS trả lời rằng nó hữu ích cho cả training lẫn inference
- AWS nhấn mạnh hướng mà khách hàng sẽ tiếp cận Trainium thông qua lớp trừu tượng của managed service, thay vì phải trực tiếp đụng vào nó
- Cũng như phần lớn khách hàng không trực tiếp làm việc với GPU, khi dùng OpenAI hay Claude, thứ họ tương tác thực chất là interface chứ không phải GPU, Trainium hay TPU
- Trong tương lai, accelerator chip nhiều khả năng sẽ tiếp tục vận hành phía sau một số ít mô hình và dịch vụ lớn
- Có thể là 5, 10, 20 hoặc 100 đơn vị, nhưng số người trực tiếp lập trình cho chúng sẽ không tăng lên thành hàng triệu
- Việc huấn luyện mô hình vừa tốn tiền vừa đòi hỏi chuyên môn vận hành rất cao
- Đội ngũ OpenAI rất giỏi trong việc khai thác giá trị từ các cụm compute khổng lồ, nhưng không nhiều nơi có được đội như vậy
- OpenAI nói ban đầu họ nghĩ về mình như một token factory, rồi nhanh chóng sửa lại rằng thực ra giống intelligence factory hơn
- Điều khách hàng muốn không phải là số token, mà là nhận được đơn vị trí tuệ tốt nhất với chi phí thấp nhất và đủ capacity
- GPT-5.5 được đưa ra như ví dụ rằng chi phí trên mỗi token cao hơn 5.4, nhưng số token cần để ra cùng một câu trả lời lại thấp hơn nhiều
- Người dùng quan tâm nhiều hơn tới việc công việc có hoàn thành hay không, chứ không phải đã tiêu bao nhiêu token cho một câu trả lời
- Dù là mô hình lớn chạy ít token, mô hình nhỏ chạy nhiều token, hay bên dưới là GPU hoặc Trainium, điều khách hàng muốn vẫn là nhiều giá trị hơn với chi phí thấp hơn thay vì quan tâm đến cách triển khai nội bộ
- Ngay cả khi tạo agent mới trong Codex hoặc trong Stateful Runtime Environment cho Amazon Bedrock, người dùng cũng không nên phải bận tâm tới việc compute nội bộ được chọn như thế nào
- Việc giảm lượng token sử dụng chủ yếu đến từ cải tiến mô hình, còn tác động từ harness chỉ phản ánh một phần
- Trước câu hỏi AWS có mở rộng managed service tương tự sang các mô hình khác hay không, hiện tại AWS chỉ trả lời rằng họ đang tập trung vào hợp tác với OpenAI
Diễn biến thị trường và chiến lược nền tảng
- ChatGPT được đánh giá là sản phẩm tiêu dùng mới quy mô lớn đầu tiên xuất hiện kể từ Facebook
- OpenAI cho biết họ không chỉ thành công với ChatGPT mà còn đạt kết quả khá tốt ở API và đặc biệt là Codex
- Cũng có hồi tưởng rằng trước đây trọng tâm nằm nhiều hơn ở khả năng giao diện ngôn ngữ mới có thể thay đổi cách tìm kiếm thông tin trên Internet
- Google vẫn được đánh giá là một phenomenal company về độ rộng và chiều sâu
- AWS được mô tả là từ đầu đã chọn chiến lược lấy đối tác làm trung tâm, nơi đối tác thành công thì AWS cũng thành công
- Cách tiếp cận này khác với tư duy phải sở hữu mọi thứ và gần hơn với việc làm chiếc bánh lớn hơn
- Khách hàng phải có thể chọn thứ phù hợp nhất với mình, dù đó là sản phẩm của AWS hay của đối tác
- Bedrock cũng được thiết kế trên chiến lược đó để hỗ trợ phổ rộng mô hình và nhiều tính năng khác nhau
- AWS cho biết họ đã duy trì cách tiếp cận tương tự ở các lĩnh vực khác như cơ sở dữ liệu và nền tảng compute
- Ở lớp hạ tầng, AWS vẫn đẩy mạnh các thành phần lõi của riêng mình như S3, nhưng càng lên cao trong stack thì việc chấp nhận hệ sinh thái đối tác rộng hơn càng có lợi cho khách hàng
- Vai trò của hai bên được tóm lại là OpenAI làm Software, AWS làm Infrastructure, và cùng nhau xây Platform
- Với kỳ vọng năng lực mô hình sẽ tiến rất nhanh trong 1 năm tới, thời điểm cùng xây nền tảng ngay từ bây giờ được xem là thời điểm tốt
1 bình luận
Ý kiến trên Hacker News
Vì có thể truy cập thông qua Amazon trong vai trò bên trung gian "đáng tin cậy". OpenAI thì bị cấm và không được tin tưởng
Tôi không nhất thiết đồng ý với đánh giá của đội pháp lý ở các tổ chức này, nhưng có lẽ họ đã đọc điều khoản dịch vụ kỹ hơn tôi rất nhiều
Còn tuyên bố này có làm thay đổi cuộc chơi hay không thì phải chờ xem, nhưng cảm nhận hiện tại là OpenAI đang bị tụt lại khá nhiều trên nhiều phương diện
Dù vậy, trong ngành AI thì chênh lệch 2~8 tuần cũng không hẳn là khoảng cách quá lớn, nên có thể đây là vấn đề về nhận thức nhiều hơn là tác động thực tế
Ít nhất trong bong bóng thông tin của tôi, danh tiếng của OpenAI chạm đáy vì Sam Altman, và tôi cũng không thích họ lắm vì trông thiếu đạo đức, lại còn có vẻ khá bất ổn nếu nhìn vào những yêu cầu liên quan đến fabs
Chỉ dùng AWS thôi thì chưa đủ, và ngay cả khi AWS chạy mô hình thì nếu muốn ZDR đúng nghĩa, bạn vẫn phải làm việc riêng với bên đó [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
Cả hai bên đều hưởng lợi rõ rệt, và văn hóa vòng lặp phản hồi từ khách hàng AWS có lẽ cũng giúp Anthropic xây dựng năng lực phục vụ doanh nghiệp nhanh hơn
Phía Azure thì đã có từ khá lâu rồi
Trong khi đó Anthropic tập trung vào một thứ, và có lẽ đó là lý do họ luôn nằm trong nhóm dẫn đầu ở các benchmark SWE
AWS nêu rõ rằng đầu vào và đầu ra không được chia sẻ với nhà cung cấp mô hình, và cũng không được dùng để huấn luyện mô hình nền tảng [1]
Ngoài ra, OpenAI đã nhận lệnh bảo toàn dữ liệu vào tháng 5/2025 trong vụ NYT v. OpenAI, và tòa đang buộc họ phải lưu giữ log đầu ra ChatGPT gần như vô thời hạn
Việc này bao gồm cả các cuộc hội thoại đã bị người dùng xóa mà lẽ ra sẽ bị xóa trong vòng 30 ngày [2]
Vì vậy, với các tổ chức bị ràng buộc bởi HIPAA/GDPR thì điều kiện này khiến họ thậm chí không thể bước vào vạch xuất phát
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Theo tôi, chính trị nội bộ hay các vòng review quan liêu thường chủ yếu dùng để giữ người ở cấp thấp bận rộn với đống tính năng vụn vặt và công việc vận hành
Nếu mô hình này đủ giống một biến thể OSS của GPT thì có thể nó đã không phức tạp như ta nghĩ
Lượng tử hóa, silicon phục vụ tùy biến, batching và các tối ưu suy luận khác có thể khiến phiên bản do bên gốc cung cấp và phiên bản được host hành xử khác nhau
Bài báo này không nói đúng cùng trường hợp đó mà bàn về Llama open-weight có thể kiểm toán, nhưng nó cho thấy khá rõ các triệu chứng tương tự
https://arxiv.org/pdf/2410.20247
Có vẻ họ cũng có thể để lại biên lợi nhuận khá tốt ở đó
Tôi cũng tò mò liệu chuyện này có liên quan trực tiếp đến xu hướng tách khỏi Microsoft hay không
Chỉ từ những gì tôi thấy quanh mình thôi thì trong các triển khai doanh nghiệp nghiêm túc, OpenAI gần như bị phớt lờ, vì thứ Azure cung cấp không hấp dẫn và ngoài ra cũng không có con đường nào thân thiện với doanh nghiệp
Có vẻ OpenAI đã nhận ra rằng nếu tiếp tục nhường thị trường doanh nghiệp cho tổ hợp Anthropic + AWS thì sẽ rất nguy hiểm, nên giờ họ đang hành động để bắt kịp
https://news.ycombinator.com/item?id=47921248
Các ngành bị quản lý như tài chính và y tế thường đã có sẵn hợp đồng với AWS kèm các cam kết về lưu trú dữ liệu
OpenAI trên Bedrock có thể giúp những tổ chức này không phải đàm phán DPA riêng với OpenAI, nên đây có thể là bước đột phá lớn hơn nhiều so với vẻ ngoài trên giấy tờ
Giảm bớt một subprocessor, và dữ liệu cũng đã nằm sẵn trong AWS nên bớt lo chuyện phải gửi đi nơi khác
Trừ khi AWS cuối cùng cũng chịu bỏ cuộc và thêm tương thích OpenAI API để làm Bedrock dùng được hơn
Nó hỗ trợ Responses và Chat Completions, có thể xem tại đây https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Chỉ riêng bài HN lần này thôi mà đã có tới 4 link thông báo xuất hiện cùng lúc, đó không phải ngẫu nhiên
Vì chỉ cần một phát ngôn sai vào sai thời điểm là có thể làm rung chuyển hàng tỷ đô vốn đầu tư, nên thông điệp buộc phải được gọt giũa rất cẩn thận và tung ra theo từng bước