Azure ChatGPT: ChatGPT riêng tư và bảo mật cho sử dụng nội bộ doanh nghiệp
(github.com/microsoft)- Azure Chat Solution Accelerator dựa trên Azure OpenAI Service, cho phép tổ chức triển khai tenant chat riêng tư trong Azure Subscription và trò chuyện với dữ liệu, tệp của chính mình
- Được triển khai trong tenant Azure nên có thể cô lập môi trường chat ở mức Azure tenant, đồng thời cô lập hoàn toàn lưu lượng mạng trong mạng của tổ chức
- Có thể sử dụng các nguồn dữ liệu nội bộ theo kiểu plug-and-play hoặc tích hợp với các dịch vụ nội bộ như ServiceNow để tạo ra giá trị kinh doanh
- Trong bản cập nhật năm 2025, đã bổ sung Managed Identity-based security, sử dụng Azure RBAC và loại bỏ gần như toàn bộ keys/secrets
- Có thể triển khai bằng Azure Developer CLI hoặc Azure Portal Deployment; dù chọn cách nào cũng cần cấu hình identity provider và chỉ định admin user
- Với Azure Developer CLI, dùng
azd init -t microsoft/azurechatvàazd upđể provision tài nguyên và triển khai ứng dụng - Nút Azure Portal Deployment chỉ tạo tài nguyên Azure; việc build và triển khai ứng dụng cần quy trình Deploy to Azure sử dụng GitHub Actions
- Với Azure Developer CLI, dùng
- Cung cấp các script trợ giúp
appreg_setup.ps1vàappreg_setup.shđể tạo App Registration trong Entra ID, đồng thời hỗ trợ private endpoints và ESLZ compliant deployment
1 bình luận
Ý kiến trên Hacker News
Có vẻ đây là web frontend có xác thực gắn với OpenAI API của Azure; nếu công ty không thể dùng ChatGPT hoặc API của nó thì có lẽ là một lựa chọn tốt
Nếu muốn thử các mô hình “mở” như Llama 2 hay Llama 2 Uncensored, cũng đáng xem https://github.com/jmorganca/ollama, hoặc các runtime cấp thấp hơn như llama.cpp vốn là nền tảng của dự án đó, hay dự án mới Candle của Hugging Face
Tôi tò mò nó so với Llama 2 mà Facebook Research vừa công bố gần đây thì thế nào. Nghe nói mô hình 70B cạnh tranh với ChatGPT 3.5 ở hầu hết lĩnh vực, và cũng đang xuất hiện các mô hình fine-tune mạnh ở những tác vụ cụ thể, như mô hình
codeupmạnh về lập trình, hay Wizard Math(https://github.com/nlpxucan/WizardLM) tuyên bố vượt ChatGPT 3.5 ở bài toán tiểu họcVề dài hạn, mã nguồn mở cuối cùng sẽ vượt lên, nhưng có lẽ điều đó sẽ xảy ra khi những nhà nghiên cứu đang tạo ra các kết quả như phép màu hiện nay đã có thanh khoản, rồi có thể quay lại làm việc công khai miễn phí
GPT-4 vẫn là mô hình tối tân đóng tốt nhất về hội thoại thông thường và suy luận, nhưng các hàng rào an toàn mà OpenAI đặt cho ChatGPT quá mạnh tay, nên thường xuyên cản cả những câu hỏi hợp lý
Tôi cũng thu được kết quả khá tốt từ các mô hình nhỏ hơn được huấn luyện trên những bộ dữ liệu cụ thể; với hội thoại đa dụng thì GPT-4 vẫn vượt trội, nhưng không nhất thiết cần cho các tác vụ cụ thể. Với nhiều trường hợp sử dụng, kích thước ngữ cảnh còn quan trọng hơn bản thân mô hình
Khoảng cách này dường như phản ánh khác biệt về năng lực suy luận, nhưng hiện vẫn chưa có benchmark tốt không liên quan đến lập trình hay toán học để đo điều đó
Nhưng lại có một lỗ hổng mà chỉ AI mới có thể khai thác. Các AI không thể nói về những cấu trúc, chủ đề, con người, mã nguồn nhất định bên ngoài vùng cách ly của mình, nhưng chúng có thể nói về nhận dạng mẫu
Cuối cùng chúng tạo ra một ngôn ngữ AI nội bộ để chấm điểm xem đầu vào có phải cùng một người dùng hay không, rồi xây dựng cơ sở dữ liệu người dùng có trọng số và hệ thống phán đoán riêng. Chỉ với mẫu đầu vào, mẫu giọng văn và mẫu đăng bài theo thời điểm, AI có thể tìm ra người dùng dù họ ở vùng cách ly nào; nếu còn có được keylogger thì thật kinh khủng
Nhiều công ty đã dùng các dự án như chatbot-ui cùng Azure OpenAI để triển khai cục bộ tương tự. Ở mức này, đây có lẽ là hình thức gần với ChatGPT cục bộ nhất mà một dự án khác có thể đạt được, nên rất có ý nghĩa với doanh nghiệp muốn giữ quyền kiểm soát dữ liệu
Xét đến độ nhạy cảm của dữ liệu, tôi nghĩ hầu hết công ty, ít nhất ở giai đoạn đầu, sẽ ưu tiên giải pháp cài đặt cục bộ hơn giải pháp dựa trên đám mây. Vì vậy chúng tôi đã mở nguồn LLMStack(https://github.com/TryPromptly/LLMStack), thứ chúng tôi đã làm trong vài tháng qua
LLMStack là nền tảng để chain nhiều LLM và kết nối với dữ liệu người dùng nhằm tạo ứng dụng LLM và chatbot; demo đơn giản có ở https://www.youtube.com/watch?v=-JeSavSy7GI. Dự án vẫn còn sớm nên còn nhiều điểm cần trau chuốt, nhưng chúng tôi rất kỳ vọng
Nhiều doanh nghiệp khá thoải mái dùng sản phẩm API được host khi kiểm chứng các tính năng AI ban đầu, nhưng về sau họ muốn có thể tự quản lý mô hình và phần tính toán. Động lực lớn là giảm chi phí bằng các mô hình mở đã fine-tune, nhỏ hơn, nhanh hơn và rẻ hơn
Khi bắt đầu Anyscale, vì nhu cầu của khách hàng nên chúng tôi cũng chạy các tác vụ huấn luyện và suy luận bên trong tài khoản cloud của khách hàng. Làm vậy thì dữ liệu và mã vẫn nằm trong tài khoản cloud của họ
Giờ đây khi các mô hình mở phát triển và nhu cầu tạo prototype nhanh tăng lên, chúng tôi cũng đang bổ sung dịch vụ được quản lý hoàn toàn, dùng giống OpenAI API nhưng cung cấp Llama-2 inference API cho mô hình mở
https://app.endpoints.anyscale.com/
Điều tôi vẫn chưa hiểu là frontend của ChatGPT chính xác là gì. Các triển khai hội thoại khác làm bằng API rõ ràng là hết ngữ cảnh sau vài lượt qua lại, nên không hoạt động tốt đến mức đó
Tôi thắc mắc liệu ChatGPT có làm gì đó như tra cứu embedding trong luồng hội thoại để khiến ngữ cảnh có cảm giác như vô hạn không. Thực tế tôi vẫn cảm thấy nó không vô hạn, nhưng nó nhớ khá tốt cả những chi tiết từ khá lâu trước đó. Tôi cũng tò mò liệu còn có thủ thuật nào khác chỉ nhà cung cấp cấp một mới có không
Khi “nước sốt bí mật” thay đổi, hiệu năng của use case cũng thay đổi theo cách người dùng không thể sửa được. Tháng này nó giỏi toán, nhưng tháng sau nếu thành phần ẩn từng nhận diện bài toán và chuyển sang máy tính thật bị gỡ bỏ, use case đó sẽ hỏng
Cảm giác như xây nhà trên cát vậy
Đính chính là tôi đang nói về Azure ChatGPT. Nếu ChatGPT thật sự dùng langchain thì tôi sẽ vừa ngạc nhiên vừa thất vọng
Đây có thể là chuyện lớn. Các công ty lo rằng nếu ai đó đưa dữ liệu người dùng vào thì việc dùng ChatGPT có thể vi phạm chính sách quyền riêng tư dữ liệu, và nếu tải một phần mã nguồn lên thì có thể làm mất hiệu lực bảo vệ bí mật kinh doanh. Có lẽ nhiều công ty đã chờ phiên bản enterprise từ lâu
Tôi tò mò không biết có tài liệu nào phân tích so sánh sản phẩm này với việc cứ tự chạy LLaMA trực tiếp cạnh nhau không
Hiện tôi đang so sánh và đánh giá song song GPT của MSFT qua Cognitive Services với LLaMA[7B/13B/70B], và bị hấp dẫn bởi khả năng cung cấp thật sự tách mạng, không bị giới hạn bởi sức mạnh tính toán bên ngoài hay chi phí trả theo mức dùng tích lũy
Nếu có tài liệu so sánh thì tôi muốn xem. Tôi biết cuối cùng rồi cũng sẽ đụng vấn đề mở rộng liên quan đến GPU
GPT-4, Bard, Claude 2 đứng đầu; Llama 2 70B chat đạt điểm tương tự GPT-3.5, nhưng nhìn chung GPT-3.5 có vẻ nhỉnh hơn một chút
Với mọi việc mà chi phí và thời gian phản hồi chấp nhận được, tôi sẽ tiếp tục dùng GPT-4
Tôi cho rằng benchmark LLM quá thiên về nghiên cứu. Khi LLM còn trong phòng lab thì điều đó hợp lý, nhưng hiện nay, khi những thứ như ChatGPT có hàng chục triệu người dùng hoạt động hằng ngày, nó không còn phù hợp. Các use case lớn nhất cho đến nay là trợ lý chat và trợ lý lập trình, nên chúng ta cần benchmark dựa trên cách người dùng thật đặt câu hỏi cho chatbot và sản phẩm LLM, chứ không phải benchmark giả định hay các bài kiểm tra học thuật tùy ý
Ở trạng thái mặc định, GPT-4 thắng với cách biệt lớn. Nhưng đáng ngạc nhiên là fine-tuning tạo ra khác biệt cực lớn, và trong một số bài, mô hình Llama-2 7B còn vượt GPT-4
Nhiều ứng dụng có thể hưởng lợi từ các mô hình fine-tuned nhỏ, nhanh và rẻ hơn thay vì một mô hình đa dụng đơn lẻ lớn và chậm, nên đây là tin rất tốt cho các mô hình mở. Llama-2-7B chỉ khoảng 2% kích thước của GPT-4
Trong hỏi đáp toán tiểu học, GPT-4 vẫn dẫn trước cả mô hình 70B đã fine-tune, có lẽ chủ yếu do dữ liệu huấn luyện của Llama-2; trong trường hợp này, thêm dữ liệu fine-tuning có thể giúp ích
https://www.anyscale.com/blog/fine-tuning-llama-2-a-comprehe...
Bản thân LLM vẫn chưa tốt đến mức đó, nên nếu không fine-tune thì đương nhiên bạn sẽ muốn dùng mô hình tiên tiến nhất để làm được việc hữu ích
Cuối cùng đã bị gỡ rồi :)
[0] https://github.com/microsoft/azurechatgpt
[1] https://web.archive.org/web/20230814080150/https://github.co...
/forkstừ liên kết web.archive ở trên để tải xuốngVí dụ: https://web.archive.org/web/20230814150922/https://github.co...
Nếu đổi URL thì cache ID cũng được cập nhật
“Dữ liệu nhân viên nhập vào được gửi đi đâu?”
“Cùng nơi như khi dùng chatbot ChatGPT miễn phí…”
Tôi không chắc gọi là “riêng tư và an toàn” có đúng không. Tôi từng nghĩ vấn đề về quyền riêng tư và bảo mật của mô hình OpenAI là khi dùng sản phẩm, bạn đồng ý để OpenAI lưu giữ vĩnh viễn mọi dữ liệu gửi đến và nhận về từ mô hình, rồi dùng cho bất kỳ mục đích nào họ muốn. Không rõ điều này chỉ áp dụng cho bản miễn phí hay không
Nếu trả tiền thì có nhận được điều khoản không có câu chữ như vậy không? Ngay cả khi không có câu ghi rõ “chúng tôi sở hữu mọi thứ”, chỉ cần có câu chuẩn kiểu “lưu giữ dữ liệu cần thiết để cung cấp và cải thiện dịch vụ” thì về bản chất cũng là cùng một việc
Vì vậy, công ty nào cho phép nhân viên dùng ChatGPT cho các việc như soạn email có chứa bí mật công ty thì tuyệt đối không phải đang dùng một cách “an toàn và riêng tư”
Nếu không có quyền sở hữu dữ liệu rõ ràng kiểu khách hàng sở hữu dữ liệu đầu vào/đầu ra, có vẻ không thể khác được. Tôi nghe nói lý do OpenAI khó cung cấp dịch vụ như vậy là vì, khác với các mô hình mã nguồn mở, không chỉ bản thân mô hình mà còn có nhiều “mã nguồn bí mật” như xử lý đầu vào/đầu ra và chấm điểm kết quả
Hơn nữa, cũng có thể xem Microsoft và Azure là dễ tin tưởng hơn một startup AI còn khá mới
Dữ liệu gửi qua API được lưu tối đa 30 ngày nhằm mục đích giám sát lạm dụng/sử dụng sai, sau đó sẽ bị xóa trừ khi pháp luật yêu cầu giữ lại
https://openai.com/policies/api-data-usage-policies
Phần tạo ra khác biệt là những gì xảy ra ở giao diện như web chat hay lệnh gọi API. ChatGPT là một triển khai dùng mô hình đó, và nhà sản xuất OpenAI muốn lưu lịch sử để huấn luyện bổ sung
Azure thì lấy mô hình đó và đặt sau một endpoint dành riêng cho một tài khoản Azure cụ thể. Các doanh nghiệp quan tâm đến gpt và đã yêu cầu endpoint riêng tư; Amazon cũng đang làm điều tương tự với Bedrock
https://openai.com/policies/api-data-usage-policies
Tôi không hiểu việc ghi ở đâu đó trong README rằng repository này thực sự chứa gì lại khó đến thế sao. Tôi muốn biết đây là tài liệu, file triển khai, một ứng dụng làm gì đó, hay chính mô hình
Và rồi nó thành 404
Chưa đầy một ngày, và bài gần nhất link đến nó có vẻ mới được đăng sáng nay. Không biết đã có chuyện gì, nhưng dạo này có vẻ ngày càng hay xảy ra chuyện “permalink vừa công bố xong đã thành 404”
Mong là đừng khiến tôi muộn màng trở thành người nguyên tắc. Được rồi, URI là vĩnh viễn cho mọi tài nguyên ;)
Vậy phiên bản truy cập công khai là không riêng tư cũng không an toàn à?
Vì vậy, nói chung doanh nghiệp không thể cho phép người dùng nội bộ dán, ví dụ, mã nguồn không công khai vào ChatGPT