- Các mô hình frontier của OpenAI được đưa vào môi trường runtime agent native của AWS trên Amazon Bedrock, không chỉ dừng ở việc cung cấp mô hình mà còn được kết hợp dưới dạng managed agent dành cho doanh nghiệp
- Bedrock Managed Agents gói chung identity, permissions, logging, governance và deployment, giúp khách hàng vận hành agent trong môi trường doanh nghiệp nhanh hơn mà không cần tự lắp ghép từng thành phần
- Hiện nay, hiệu năng agent không chỉ phụ thuộc vào bản thân mô hình mà còn chịu ảnh hưởng lớn từ mức độ kết hợp với harness gồm tools, state, memory, permissions và evals; AWS và OpenAI đang xử lý phần kết hợp này như một sản phẩm chung
- Dữ liệu khách hàng được giữ lại bên trong AWS VPC, còn mô hình OpenAI chạy thông qua Bedrock, và kênh hỗ trợ cũng được vận hành xoay quanh AWS
- Giống như cloud thời kỳ đầu từng mở đường cho startup, sự kết hợp lần này cũng nằm trong dòng chảy hạ thấp rào cản triển khai AI, đồng thời cho thấy tham vọng trở thành một lớp nền tảng mới cùng với nhu cầu frontier đang tăng rất nhanh
AWS, startup và tốc độ triển khai AI
- Mô hình cloud ban đầu của AWS đã giúp hạ tầng vốn chỉ các doanh nghiệp lớn mới có được trở nên khả dụng chỉ với vài đô la và một chiếc thẻ tín dụng, theo cách không cần định trước nhà phát triển sẽ xây gì, từ đó mở rộng mạnh phạm vi sáng tạo trên Internet
- Tác động lan tỏa của việc triển khai AI cũng được đánh giá là tương tự hoặc thậm chí lớn hơn
- Cấu trúc mà trước đây phải học lập trình 10 năm mới có thể làm ứng dụng đang yếu đi
- Ngay cả những nhóm nhỏ cũng có thể xây nhanh và lặp lại cải tiến mà không cần đội ngũ hàng trăm người hay chu kỳ phát triển kéo dài
- Điều này đang trở thành công cụ mở ra đổi mới mới trong nhiều lĩnh vực trên toàn cầu
- Khác với giai đoạn đầu của cloud, tốc độ chấp nhận AI đang diễn ra rất nhanh
- Năm 2006, cloud còn cần giải thích rất dài kiểu “vì sao một công ty bán sách lại cung cấp dịch vụ điện toán”, nhưng AI thì mọi người hiểu nhanh hơn nhiều
- Quá trình chuyển từ chatbot thông minh đơn thuần sang thực hiện công việc nội bộ trong doanh nghiệp vẫn cần giáo dục thị trường, nhưng xét theo tốc độ thay đổi công nghệ thì diễn ra tương đối nhanh
- Sự chuyển dịch nền tảng cho startup được tóm gọn thành bốn làn sóng: Internet, cloud, mobile, AI
- Ở giai đoạn đầu của YC, nhờ cloud như AWS mà người ta có thể khởi nghiệp với ít vốn hơn nhiều
- Rào cản phải thuê không gian colo, tự lắp ráp server và huy động số tiền lớn từ đầu đã giảm mạnh
- Giả định rằng chỉ riêng chi phí server cũng đã ngốn hàng chục nghìn đô la bị phá vỡ, mở ra mô hình khởi nghiệp vốn mỏng
- Startup thường dễ thắng doanh nghiệp lớn hơn trong giai đoạn chuyển nền tảng lớn khi họ có thể vận hành với chu kỳ ngắn hơn và ít vốn hơn
- Trên nền AI hiện nay cũng đang thấy xu hướng tương tự
- Bên trong YC, tốc độ tăng trưởng doanh thu của các công ty tốt đang thay đổi nhanh đến mức ngay cả giữa lúc bắt đầu và kết thúc một batch, kỳ vọng doanh thu đã khác hẳn so với trước đây
- AWS vẫn được xem là cloud mà nhiều startup ở giai đoạn mở rộng quy mô đang sử dụng
- Scale, availability, security, reliability, cùng hệ sinh thái đối tác ISV trong AWS và tệp khách hàng sẵn có trong AWS, được gộp lại thành các thế mạnh chính
- Không chỉ cung cấp credit, AWS còn đưa ra tư vấn về thiết kế hệ thống và go-to-market, tiếp tục xem startup là nền tảng cốt lõi của mình
- Mỗi quý họ đều gặp trực tiếp startup để kiểm tra xem sản phẩm có thực sự phù hợp hay không
- Trong startup ngày nay, mô hình dùng AWS cho compute thông thường và OpenAI API cho AI xuất hiện rất phổ biến
Bedrock Managed Agents và hướng đi sản phẩm chung
- Bedrock Managed Agents không chỉ là việc đưa mô hình OpenAI vào AWS, mà được trình bày như việc đặt các frontier model của OpenAI vào môi trường runtime agent native của AWS
- Các yếu tố vận hành như identity, permission state, logging, governance và deployment được gói lại cùng nhau
- Bước tiếp theo của AI đang vượt khỏi giai đoạn nhập văn bản và nhận lại văn bản, để tiến tới stateful agent thực sự làm việc bên trong công ty
- Cách gọi “virtual co-workers” không hoàn hảo, nhưng được xem là cách diễn đạt ít gượng nhất
- Toàn ngành vẫn chưa thực sự thống nhất sẽ gọi đối tượng này là gì và sử dụng nó ra sao
- Codex được đưa ra như một ví dụ rõ nét của xu hướng này
- Điều cốt lõi là công việc mong muốn thực sự xảy ra, và người dùng sẽ không còn phân biệt phần đóng góp nào đến từ mô hình hay từ harness
- Mức độ gắn kết giữa mô hình và harness được xem là yếu tố cốt lõi của hiệu năng agent
- tools, state, memory, permissions và evals quyết định mạnh đến cách hệ thống vận hành thực tế
- Nó không hoàn toàn giống pre-training, nhưng sự kết hợp diễn ra ở cả cấp độ post-training lẫn prompt
- Ngay cả tool-calling, thứ ban đầu có vẻ tách biệt, theo thời gian cũng được tích hợp sâu hơn vào quá trình huấn luyện
- Trong tương lai, model và harness, cũng như pre-training và post-training, có thể sẽ gắn kết với nhau chặt chẽ hơn nữa
- Mức độ trưởng thành của ngành vẫn được mô tả là rất sớm, đến mức còn được ví với thời Homebrew Computer Club
- Sự hợp tác giữa AWS và OpenAI tập trung vào việc gói lại những phần trước đây khách hàng phải tự lắp ghép, nhằm giúp họ đạt giá trị nhanh hơn trong môi trường doanh nghiệp
- Khách hàng muốn mô hình và agent có thể phối hợp tốt với nhau trong khi vẫn duy trì được bộ nhớ
- Họ muốn kết nối không chỉ với công cụ bên thứ ba mà còn với công cụ nội bộ, dữ liệu nội bộ, ứng dụng nội bộ và cả môi trường vận hành nội bộ
- Cho đến nay, công việc tích hợp kiểu này phần lớn đều do từng khách hàng tự đảm nhận
- Trong sản phẩm chung, identity được tích hợp sẵn, và việc xác thực cơ sở dữ liệu cũng được thiết kế để diễn ra bên trong AWS VPC
- Mục tiêu không chỉ là cải thiện tính tiện lợi, mà còn là làm được cả những thứ mà theo cách cũ, dù lắp ghép đầy đau đớn cũng không thể triển khai một cách đáng tin cậy
- Hiện trạng được mô tả là nhà phát triển vẫn đang chịu quá nhiều đau đớn và thao tác thủ công khi xây thứ gì đó bằng mô hình
- Ngay cả khi dùng ChatGPT, việc copy-paste và ghép prompt phức tạp vẫn rất phổ biến
- Ma sát này rồi sẽ biến mất, nhưng hiện tại vẫn là một giai đoạn rất sớm và còn nhiều bất tiện
- Sự hợp tác lần này cũng là kết quả của việc nhu cầu từ các khách hàng vốn đã ở trên AWS muốn dùng công nghệ OpenAI, đồng thời OpenAI cũng muốn mở rộng khả năng tiếp cận khách hàng AWS
- Trọng tâm được nhấn mạnh nhiều hơn ở việc cùng tạo ra một sản phẩm mới, chứ không chỉ là phân phối mô hình
- Khi nhìn lại sau một năm, kỳ vọng là tầm quan trọng của sản phẩm mới này sẽ nổi bật hơn việc chỉ nói rằng “giờ đã có thể truy cập mô hình OpenAI qua AWS”
- Ở cấp độ model, harness và capability, đây ngày càng giống một cách thức điện toán mới hơn là kiểu gọi API mô hình truyền thống
AgentCore, Managed Agents, mô hình vận hành
- AgentCore được giới thiệu là một tập hợp agent primitives như bộ nhớ, môi trường thực thi an toàn và phân quyền
- Bedrock Managed Agents được định vị là sản phẩm ở tầng cao hơn do AWS và OpenAI cùng xây dựng, kết hợp mô hình OpenAI và nhiều yếu tố vận hành trên các thành phần của AgentCore
- Chỉ với AgentCore cũng có thể tự xây dựng agentic workflow
- Đã có khách hàng chạy nó trong production và khai thác trong thực tế
- Ngay lúc này cũng có thể dùng AgentCore theo cách gọi ra ngoài tới mô hình OpenAI
- Dù không phải dạng tích hợp native bên trong Bedrock, vẫn có khách hàng gọi trực tiếp mô hình OpenAI nằm trên đám mây khác
- AWS xem đây là một hệ sinh thái mở
- Cách tự kết hợp các năng lực mong muốn để tự xây dựng vẫn có thể tiếp tục tồn tại trong tương lai
- Họ cho rằng vẫn sẽ luôn có những builder muốn tự tạo agent lâu dài, giống như người tự lắp máy tính ở nhà
- Nhiều khách hàng muốn một cách dễ hơn để không phải tự cấu hình mọi mảnh ghép, và lần ra mắt hợp tác này nhắm tới đúng nhu cầu đó
- Việc dùng OpenAI trên Azure được mô tả là trải nghiệm truy cập API trực tiếp, còn công bố lần này trên Amazon được phân biệt là một managed service
- Dịch vụ managed agent này hiện đang được triển khai độc quyền với Amazon
- Đây không chỉ là mức dùng API của Amazon, mà được xem là một joint effort do hai công ty cùng thúc đẩy
- Dữ liệu khách hàng ở lại bên trong AWS
- Toàn bộ nằm trong VPC và được bảo vệ trong môi trường Bedrock
- Mô hình OpenAI được chạy thông qua Bedrock, còn hạ tầng sử dụng kết hợp Trainium và GPU
- Một phần liên quan đến thời điểm, một phần liên quan đến capabilities
- Định hướng được đưa ra là theo thời gian, tỷ trọng lớn hơn sẽ chuyển sang Trainium
- OpenAI cũng thể hiện kỳ vọng lớn vào việc mô hình của mình chạy trên Trainium
- Khi vận hành mô hình OpenAI trong môi trường AWS, đầu mối hỗ trợ cấp một sẽ do AWS đảm nhiệm
- Khách hàng sẽ nhận hỗ trợ qua AWS support và người phụ trách tài khoản AWS
- Trong quá trình triển khai, nhân sự phía OpenAI cũng tham gia để cùng điều phối cách sử dụng
- Các lỗi cần OpenAI hỗ trợ sẽ được AWS escalated sang OpenAI
Local, cloud, quyền hạn và ranh giới bảo mật
- Codex ban đầu khởi đầu trên cloud, nhưng được mô tả là trên thực tế đã quay lại hướng chạy local
- Lý do local dễ hơn là vì môi trường đã sẵn ở đó
- Thiết lập máy tính, dữ liệu và quyền truy cập tệp đều đã có sẵn nên cần ít cấu hình bổ sung hơn
- Dù chưa phải trạng thái cuối cùng, trong ngắn hạn tính tiện dụng vẫn là yếu tố quan trọng hơn
- Về dài hạn, hướng đi hữu ích được nêu ra là agent sẽ chạy trên cloud, và với các tác vụ rất nặng hoặc các tình huống phải đóng máy tính thì có thể chuyển sang cloud
- Client local vẫn có ưu điểm riêng
- Giống như ứng dụng iPhone cũng có thành phần local, nó có lợi thế về connectivity, latency, local compute, cũng như truy cập tệp và ứng dụng
- Tuy nhiên không thể scale-out chính bản thân laptop, nên giới hạn mở rộng là rất rõ ràng
- Trong môi trường doanh nghiệp, cách local trở nên khó hơn
- Chỉ cần phải chia sẻ giữa hai người là độ khó đã tăng lên
- Việc xử lý permissions và security boundary trở nên phức tạp hơn
- Cuối cùng sẽ cần một bridge nối local và cloud
- Với agent, việc phát triển trong cùng môi trường với nơi sẽ triển khai là điều tự nhiên hơn, còn thiết kế identity và permission vẫn là lĩnh vực còn rất nhiều phần chưa hoàn thiện
- Agent có nên dùng nguyên tài khoản của con người hay không
- Agent có nên có tài khoản riêng hay không
- Nếu có nhiều agent thì sẽ phân biệt chúng như thế nào vẫn là những vấn đề còn lại
- Thậm chí đến cả primitive kiểu “agent của Ben đăng nhập với tư cách Ben nhưng vẫn để lại dấu hiệu đó là agent chứ không phải Ben thật” cũng vẫn chưa tồn tại
- Khi agent được tích hợp vào lực lượng lao động và mức độ tự chủ cùng độ phức tạp công việc tăng lên, mô hình kiểm soát truy cập và phân quyền trong nội bộ công ty cũng như trên toàn Internet sẽ phải cùng tiến hóa
- Càng chuyển lên cloud, tổ chức trung tâm càng có thể nắm kiểm soát bảo mật mạnh hơn
- Khách hàng thích khả năng của các mô hình mạnh và agent, nhưng điều họ lo nhất là một sự cố vô tình có thể khiến công ty tiêu đời
- Có thể kiểm soát ranh giới bằng cách cho chúng hoạt động trong VPC, buộc đi qua một gateway nhất định, hoặc cấp quyền như role trong môi trường
- Nhờ cấu trúc bảo mật mà AWS tích lũy suốt 20 năm, không chỉ startup mà cả ngân hàng toàn cầu, tổ chức y tế và cơ quan chính phủ cũng có thể sử dụng
- Với những tổ chức né tránh rủi ro, guardrail trong sandbox lại càng giúp mở rộng việc áp dụng
AI stack và kiến trúc doanh nghiệp
- Khách hàng doanh nghiệp muốn một lớp quản trị có thể kết nối dữ liệu với agent, đồng thời cung cấp theo dõi chi tiêu token và giám sát
- Khách hàng doanh nghiệp lớn liên tục yêu cầu một gói gộp gồm agent runtime environment, lớp quản trị và workspace cho nhân viên
- Ví dụ về workspace cho nhân viên là dạng như Codex
- Nhu cầu với kiểu gói này khá nhất quán, nhưng bản thân sản phẩm thực tế vẫn cần được xây dựng thêm
- Hai bên đồng ý rằng trong tổ chức cần có middleware / middle layer băng qua nhiều cơ sở dữ liệu, ứng dụng SaaS và dữ liệu phân tán
- Trong cấu trúc hiện tại, có vẻ đều cần cả user agent layer phụ trách tương tác với người dùng và lớp quản trị của công ty
- Ở phía người dùng, mô hình được dùng là tương tác với nhiều agent và xây dựng để từng agent trò chuyện với nhau
- Ở lớp quản trị công ty, các control cần thiết khi AI duyệt file system và các thành phần tương tự là rất quan trọng
- Tuy vậy, nếu mô hình trở nên đủ thông minh thì vẫn có khả năng toàn bộ cấu trúc này sẽ được thiết kế lại
- Cấu trúc hai lớp hiện nay là hình thức phù hợp với thế giới hiện tại
- Kiến trúc tương lai chính xác sẽ như thế nào thì vẫn chưa ai biết
- Đến một thời điểm nào đó, có thể sẽ đi tới kết luận rằng “thứ này đơn giản là phải nằm trong mô hình”
- Thông qua quá trình khách hàng thực sự sử dụng và xây dựng, họ sẽ học được cần làm gì để mọi thứ dễ hơn, nhanh hơn và tốt hơn
Nhu cầu, năng lực và phân tầng mô hình
- OpenAI đang đầu tư mua rất nhiều compute và bỏ ra đáng kể nỗ lực cho mảng kinh doanh này, đồng thời cũng kỳ vọng doanh thu tương xứng
- Nhu cầu về trí tuệ được xem là gần như không có trần nếu giá giảm xuống đủ thấp
- Hiện tại, ràng buộc lớn hơn dường như là thiếu năng lực chứ không phải giá
- So với những khách hàng tranh cãi về giá, có nhiều khách hàng muốn thêm capacity và sẵn sàng trả thêm bất kể mức giá hiện tại
- Họ bày tỏ sự chắc chắn rằng chi phí cho mức trí tuệ hiện nay về sau sẽ giảm mạnh
- Việc một phần đáng kể nhu cầu của toàn thị trường tập trung vào absolute frontier được xem là tín hiệu bất ngờ hơn dự kiến
- So với giả định rằng các thế hệ mô hình trước là đủ dùng, xu hướng tiếp tục muốn các mô hình tiên phong mới nhất đang thể hiện mạnh hơn
- Giống như chi phí compute đã giảm rất mạnh trong nhiều thập kỷ nhưng doanh số vẫn tiếp tục tăng, AI cũng được cho là có thể đi theo con đường mở rộng nhu cầu tương tự
- Lúc này, để làm được các công việc hữu ích thì trong nhiều trường hợp vẫn cần frontier model, nên mọi người đều muốn phía đó
- Theo thời gian, dự kiến sẽ hình thành cấu trúc pha trộn, nơi mô hình nhỏ, rẻ, nhanh cùng tồn tại với các mô hình siêu lớn
- Một số mô hình nhỏ theo thời gian thậm chí có thể xử lý được cả những công việc mà mô hình OpenAI mới nhất hiện nay vẫn chưa làm được
- Các mô hình siêu lớn có thể sẽ nhắm tới những vấn đề lớn hơn như điều trị ung thư
- Hiện tại vẫn còn ở giai đoạn đầu, và việc mức nhu cầu cùng tốc độ tăng trưởng như vậy đang xuất hiện đồng thời khiến tiềm năng về sau càng lớn hơn
Trainium, lớp trừu tượng và hạ tầng tính toán nội bộ
- Trước câu hỏi rằng Trainium, trái với tên gọi, có thể sẽ hiện diện rõ nét hơn ở phía suy luận trong tương lai, AWS trả lời rằng nó hữu ích cho cả huấn luyện lẫn suy luận
- Điểm được nhấn mạnh là khách hàng sẽ tiếp cận Trainium thông qua lớp trừu tượng của managed service hơn là trực tiếp xử lý nó
- Cũng như đa số khách hàng không trực tiếp làm việc với GPU, khi sử dụng OpenAI hay Claude, trên thực tế họ sẽ tương tác với interface chứ không phải GPU, Trainium hay TPU
- Trong tương lai, accelerator chip nhiều khả năng vẫn sẽ hoạt động phía sau một số ít mô hình và dịch vụ lớn
- Có thể là ở quy mô 5, 10, 20 hay 100, nhưng họ không cho rằng số người trực tiếp lập trình chúng sẽ tăng lên thành hàng triệu
- Việc huấn luyện mô hình vừa tốn kém vừa đòi hỏi chuyên môn vận hành rất cao
- Đội ngũ OpenAI rất giỏi trong việc khai thác giá trị từ các cụm tính toán lớn, nhưng không có nhiều nơi sở hữu đội ngũ như vậy
- OpenAI nói rằng ban đầu họ nghĩ về mình như một token factory, rồi ngay sau đó chỉnh lại rằng họ gần với intelligence factory hơn
- Điều khách hàng muốn không phải là số lượng token, mà là nhận được đơn vị trí tuệ tốt nhất với chi phí thấp nhất và dung lượng đủ dùng
- GPT-5.5 được đưa ra như một ví dụ rằng chi phí mỗi token cao hơn 5.4, nhưng số token cần thiết để có cùng một câu trả lời lại ít hơn nhiều
- Người dùng quan tâm nhiều hơn đến việc công việc mong muốn đã hoàn thành hay chưa, hơn là đã tốn bao nhiêu token cho câu trả lời đó
- Dù là mô hình lớn chạy với ít token hơn hay mô hình nhỏ chạy với nhiều token hơn, dù là GPU hay Trainium, điều khách hàng muốn vẫn là hiệu quả lớn với chi phí thấp hơn là cách triển khai nội bộ
- Ngay cả khi tạo agent mới trong Codex hay trong Stateful Runtime Environment dành cho Amazon Bedrock, người dùng cũng không cần phải ý thức về việc lựa chọn hạ tầng tính toán bên trong
- Mức sử dụng token giảm chủ yếu là kết quả của việc cải thiện mô hình, còn ảnh hưởng từ harness chỉ phản ánh một phần
- Khi được hỏi liệu AWS có mở rộng managed service tương tự sang các mô hình khác hay không, họ chỉ trả lời rằng hiện tại đang tập trung vào hợp tác với OpenAI
Diễn biến thị trường và chiến lược nền tảng
- ChatGPT được đánh giá là sản phẩm tiêu dùng mới quy mô lớn đầu tiên xuất hiện kể từ Facebook
- OpenAI cho biết họ đạt kết quả khá tốt không chỉ với ChatGPT mà còn với API và đặc biệt là Codex
- Họ cũng hồi tưởng rằng trước đây từng tập trung nhiều hơn vào khả năng giao diện ngôn ngữ mới sẽ thay đổi cách tìm kiếm thông tin trên internet
- Google vẫn được đánh giá là một phenomenal company về cả độ rộng lẫn độ sâu
- AWS ngay từ đầu đã chọn chiến lược lấy đối tác làm trung tâm, theo đuổi một cấu trúc mà đối tác thành công thì AWS cũng thành công
- Cách này khác với tư duy phải tự mình sở hữu mọi thứ và gần với việc làm chiếc bánh lớn hơn
- Quan điểm của họ là khách hàng phải có thể chọn thứ phù hợp nhất với mình, bất kể đó là sản phẩm của AWS hay của đối tác
- Bedrock cũng được thiết kế dựa trên chiến lược này để hỗ trợ nhiều mô hình và nhiều tính năng đa dạng
- AWS cũng đã duy trì cách tiếp cận tương tự ở các lĩnh vực khác như cơ sở dữ liệu và nền tảng tính toán
- AWS cho rằng ở lớp hạ tầng, họ sẽ thúc đẩy mạnh các thành phần cốt lõi của mình như S3, nhưng càng lên các tầng cao hơn của stack thì việc chấp nhận một hệ sinh thái đối tác rộng hơn sẽ có lợi hơn cho khách hàng
- Vai trò của hai bên là OpenAI phụ trách Software, AWS phụ trách Infrastructure, và cùng nhau tạo ra Platform
- Do dự đoán năng lực mô hình sẽ phát triển rất nhanh trong 1 năm tới, họ cho rằng đây là thời điểm tốt để cùng xây dựng nền tảng ngay từ bây giờ
1 bình luận
Ý kiến trên Hacker News
Vì có thể truy cập thông qua Amazon trong vai trò bên trung gian "đáng tin cậy". OpenAI thì bị cấm và không được tin tưởng
Tôi không nhất thiết đồng ý với đánh giá của đội pháp lý ở các tổ chức này, nhưng có lẽ họ đã đọc điều khoản dịch vụ kỹ hơn tôi rất nhiều
Còn tuyên bố này có làm thay đổi cuộc chơi hay không thì phải chờ xem, nhưng cảm nhận hiện tại là OpenAI đang bị tụt lại khá nhiều trên nhiều phương diện
Dù vậy, trong ngành AI thì chênh lệch 2~8 tuần cũng không hẳn là khoảng cách quá lớn, nên có thể đây là vấn đề về nhận thức nhiều hơn là tác động thực tế
Ít nhất trong bong bóng thông tin của tôi, danh tiếng của OpenAI chạm đáy vì Sam Altman, và tôi cũng không thích họ lắm vì trông thiếu đạo đức, lại còn có vẻ khá bất ổn nếu nhìn vào những yêu cầu liên quan đến fabs
Chỉ dùng AWS thôi thì chưa đủ, và ngay cả khi AWS chạy mô hình thì nếu muốn ZDR đúng nghĩa, bạn vẫn phải làm việc riêng với bên đó [0]
[0]: https://platform.claude.com/docs/en/build-with-claude/claude...
Cả hai bên đều hưởng lợi rõ rệt, và văn hóa vòng lặp phản hồi từ khách hàng AWS có lẽ cũng giúp Anthropic xây dựng năng lực phục vụ doanh nghiệp nhanh hơn
Phía Azure thì đã có từ khá lâu rồi
Trong khi đó Anthropic tập trung vào một thứ, và có lẽ đó là lý do họ luôn nằm trong nhóm dẫn đầu ở các benchmark SWE
AWS nêu rõ rằng đầu vào và đầu ra không được chia sẻ với nhà cung cấp mô hình, và cũng không được dùng để huấn luyện mô hình nền tảng [1]
Ngoài ra, OpenAI đã nhận lệnh bảo toàn dữ liệu vào tháng 5/2025 trong vụ NYT v. OpenAI, và tòa đang buộc họ phải lưu giữ log đầu ra ChatGPT gần như vô thời hạn
Việc này bao gồm cả các cuộc hội thoại đã bị người dùng xóa mà lẽ ra sẽ bị xóa trong vòng 30 ngày [2]
Vì vậy, với các tổ chức bị ràng buộc bởi HIPAA/GDPR thì điều kiện này khiến họ thậm chí không thể bước vào vạch xuất phát
[1] https://aws.amazon.com/bedrock/faqs/
[2] https://openai.com/index/response-to-nyt-data-demands/
Theo tôi, chính trị nội bộ hay các vòng review quan liêu thường chủ yếu dùng để giữ người ở cấp thấp bận rộn với đống tính năng vụn vặt và công việc vận hành
Nếu mô hình này đủ giống một biến thể OSS của GPT thì có thể nó đã không phức tạp như ta nghĩ
Lượng tử hóa, silicon phục vụ tùy biến, batching và các tối ưu suy luận khác có thể khiến phiên bản do bên gốc cung cấp và phiên bản được host hành xử khác nhau
Bài báo này không nói đúng cùng trường hợp đó mà bàn về Llama open-weight có thể kiểm toán, nhưng nó cho thấy khá rõ các triệu chứng tương tự
https://arxiv.org/pdf/2410.20247
Có vẻ họ cũng có thể để lại biên lợi nhuận khá tốt ở đó
Tôi cũng tò mò liệu chuyện này có liên quan trực tiếp đến xu hướng tách khỏi Microsoft hay không
Chỉ từ những gì tôi thấy quanh mình thôi thì trong các triển khai doanh nghiệp nghiêm túc, OpenAI gần như bị phớt lờ, vì thứ Azure cung cấp không hấp dẫn và ngoài ra cũng không có con đường nào thân thiện với doanh nghiệp
Có vẻ OpenAI đã nhận ra rằng nếu tiếp tục nhường thị trường doanh nghiệp cho tổ hợp Anthropic + AWS thì sẽ rất nguy hiểm, nên giờ họ đang hành động để bắt kịp
https://news.ycombinator.com/item?id=47921248
Các ngành bị quản lý như tài chính và y tế thường đã có sẵn hợp đồng với AWS kèm các cam kết về lưu trú dữ liệu
OpenAI trên Bedrock có thể giúp những tổ chức này không phải đàm phán DPA riêng với OpenAI, nên đây có thể là bước đột phá lớn hơn nhiều so với vẻ ngoài trên giấy tờ
Giảm bớt một subprocessor, và dữ liệu cũng đã nằm sẵn trong AWS nên bớt lo chuyện phải gửi đi nơi khác
Trừ khi AWS cuối cùng cũng chịu bỏ cuộc và thêm tương thích OpenAI API để làm Bedrock dùng được hơn
Nó hỗ trợ Responses và Chat Completions, có thể xem tại đây https://docs.aws.amazon.com/bedrock/latest/userguide/endpoin...
Chỉ riêng bài HN lần này thôi mà đã có tới 4 link thông báo xuất hiện cùng lúc, đó không phải ngẫu nhiên
Vì chỉ cần một phát ngôn sai vào sai thời điểm là có thể làm rung chuyển hàng tỷ đô vốn đầu tư, nên thông điệp buộc phải được gọt giũa rất cẩn thận và tung ra theo từng bước