- OpenPCC là framework suy luận AI bảo vệ quyền riêng tư có thể kiểm chứng lấy cảm hứng từ Private Cloud Compute của Apple, được cung cấp dưới dạng mã nguồn mở hoàn chỉnh
- Bảo đảm quyền riêng tư bằng streaming được mã hóa, chứng thực phần cứng và yêu cầu không thể liên kết, mà không làm lộ prompt, đầu ra hay log
- Bất kỳ ai cũng có thể chạy mô hình AI mở hoặc tùy chỉnh trên hạ tầng riêng của mình, với kiến trúc được thiết kế minh bạch và có thể kiểm toán
- Confident Security đang phát triển dịch vụ được quản lý CONFSEC dựa trên tiêu chuẩn OpenPCC
- Mục tiêu là phát triển thành tiêu chuẩn do cộng đồng dẫn dắt cho quyền riêng tư dữ liệu AI
Tổng quan OpenPCC
- OpenPCC là framework mã nguồn mở giúp hiện thực suy luận AI được bảo đảm quyền riêng tư
- Dựa trên khái niệm Private Cloud Compute của Apple, nhưng được triển khai theo cách hoàn toàn công khai, có thể kiểm toán và tự triển khai
- Người dùng có thể chạy mô hình AI trong trạng thái prompt, đầu ra và log không bị lộ ra bên ngoài
- Tăng cường bảo vệ dữ liệu thông qua streaming được mã hóa, chứng thực phần cứng (hardware attestation) và yêu cầu không thể liên kết (unlinkable requests)
- Mục tiêu là thiết lập tiêu chuẩn quyền riêng tư dữ liệu AI minh bạch do cộng đồng quản lý
Dịch vụ được quản lý: CONFSEC
- Confident Security đang phát triển dịch vụ được quản lý hoàn toàn CONFSEC dựa trên tiêu chuẩn OpenPCC
- Thông tin liên quan và đăng ký được cung cấp trên website confident.security
- CONFSEC hỗ trợ áp dụng công nghệ của OpenPCC dễ dàng trong môi trường thương mại
Cấu thành OpenPCC Client
- Kho lưu trữ bao gồm mã client Go và thư viện C, được dùng làm nền tảng cho client Python và JavaScript
- Cũng cung cấp dịch vụ in-memory để kiểm thử client
- Có thể xem triển khai Compute Node liên quan trong kho riêng biệt (confidentsecurity/confidentcompute)
Ví dụ sử dụng Go
- File
cmd/test-client/main.go có chứa ví dụ phát triển cục bộ
- Khi kết nối với dịch vụ production, tạo client thông qua
openpcc.NewFromConfig và thực hiện yêu cầu API
- Trong ví dụ, sử dụng model
"qwen3:1.7b" và prompt "why is the sky blue?"
- Định tuyến tới compute node đang chạy model cụ thể thông qua header yêu cầu
"X-Confsec-Node-Tags"
- Ví dụ mã tuân theo định dạng generate của OpenAI API
Phát triển và kiểm thử
- Các lệnh phát triển sử dụng mage, công cụ build dựa trên Go
- Có thể chạy bằng
go tool mage [cmd] hoặc go install github.com/magefile/mage@latest
- Lệnh
mage sẽ in ra danh sách command khả dụng, được định nghĩa trong thư mục /magefiles/*
- Để kiểm thử thư viện trong quá trình phát triển, chạy dịch vụ OpenPCC in-memory bằng
mage runMemServices, rồi thực hiện yêu cầu thử bằng mage runClient
Tài liệu tham khảo
- Có thể xem chi tiết kỹ thuật của OpenPCC trong whitepaper
1 bình luận
Ý kiến Hacker News
Đọc nội dung whitepaper thì có vẻ inference provider vẫn là bên có thể truy cập vào bản rõ của prompt và phản hồi
Tuy vậy, cách này vẫn giúp các bên thứ ba như API router không thể nhìn thấy bản rõ, đồng thời che giấu danh tính client để không thể liên kết với yêu cầu
Sẽ tốt hơn nếu README tóm tắt rõ phạm vi bảo đảm quyền riêng tư này
Xét các điểm đó, tôi thắc mắc kiến trúc này có lợi ích gì so với việc người dùng đơn giản
hay không
Tôi tò mò cụm inference provider ở đây chính xác có nghĩa là gì
Trên thực tế, sau khi được giải mã, workload vẫn không đi ra ngoài sang dịch vụ bên ngoài như OpenAI mà được chạy trực tiếp trên máy tính toán đã nạp mô hình mã nguồn mở
Các máy này chứng thực bằng mật mã (attestation) phần mềm đang chạy và bảo đảm rằng thông tin nhạy cảm không thể bị rò rỉ ra ngoài
PCC của Apple cũng hoạt động theo cùng nguyên lý, và client sẽ không gửi yêu cầu đến các node không cung cấp được những bảo đảm đó
Tức là, bảo đảm quyền riêng tư cốt lõi là ngay cả nhà vận hành phần cứng cũng không thể xem được prompt
BYOK giải quyết được phần lớn, nhưng ngay khoảnh khắc bạn cung cấp khóa thì rủi ro vẫn còn
Các hệ thống như Private Cloud Compute của Apple hay Nitro Enclaves của AWS đang cố giải quyết bước cuối cùng này
Khi NCC Group xác minh AWS, họ xác nhận rằng không tồn tại API quản trị nào cho phép nhân viên đăng nhập vào host hoặc truy cập dữ liệu khách hàng
Kiến trúc kiểu này là điều rất hiếm xét về mặt minh bạch và bảo mật
Blog nghiên cứu bảo mật PCC của Apple cũng đáng tham khảo
Do quy định chống rửa tiền, chỉ các khoản thanh toán có thể truy vết mới được cho phép
Tuy vậy, vẫn chưa rõ cụ thể mức độ cấm đến đâu
Bài liên quan: EU to ban trading of privacy coins from 2027
Tôi cũng từng ở trong một team làm việc tương tự
Dù là dịch vụ trả phí, họ vẫn công khai mã nguồn và cung cấp attestation có ý nghĩa
Dịch vụ: privatemode.ai
Mã nguồn: github.com/edgelesssys/privatemode-public
Trong khi đó edgeless dùng BSL
USP là làm sao để inference provider không thể nhìn thấy prompt,
và Privatemode đạt được điều đó qua chuỗi mã nguồn → bản dựng tái lập được → báo cáo TEE attestation
Họ cũng tăng cường bảo mật bằng các kỹ thuật cô lập như Kata/CoCo và chính sách runtime
Họ nói là “provably private”, nhưng chỉ cần truy cập vật lý cùng một ít thiết bị là vẫn có thể phân tích bus bộ nhớ
Thảo luận liên quan: HN thread
Với hàng chục nghìn máy, bạn định gắn thiết bị phân tích vào máy nào?
Công việc rất ấn tượng. Việc phát hành dưới dạng mã nguồn mở cũng đáng chú ý
Chúng tôi đang nghiên cứu các bài toán tương tự mã hóa đồng cấu (homomorphic encryption), nên muốn biết OpenPCC có thể giúp được không
Ví dụ, khi thiết bị đeo được như kính AR ghi lại dữ liệu thị giác dưới dạng log thì sẽ phát sinh vấn đề quyền riêng tư
Liệu OpenPCC có thể dùng để ẩn danh hóa dữ liệu đó cho mục đích debug của nhà phát triển không?
Về cơ bản, OpenPCC là một HTTP server đã được attestation mà không ai có thể nhìn vào bên trong
Thiết bị đeo có thể gửi dữ liệu tới OpenPCC, rồi quy trình ẩn danh hóa sẽ chạy ở đó
Dĩ nhiên, ẩn danh hóa ngay trên thiết bị sẽ đơn giản hơn
Nhân tiện thì mã hóa đồng cấu vẫn chưa ở giai đoạn thực dụng
Một bản phát hành thực sự rất hay
Mong sẽ có thêm nhiều công ty dùng nó để tăng cường quyền riêng tư của người dùng
Thật vui khi thấy ngôn ngữ Go xuất hiện
Theo tôi, Go sẽ vượt Python trong lĩnh vực AI
Tương tự với Confidential AI Inference của Azure
Link tham khảo: Azure AI Confidential Inferencing Deep Dive
Đây là phần quan trọng về mặt minh bạch, không biết có ai từng thấy chưa
Về lý thuyết thì rất hay, nhưng tôi không rõ thực tế có thể chạy được gì
Ngoài spammer ra thì có những use case nào?
Điều tôi liên tưởng đến là federated learning hay các hệ thống huấn luyện phân tán như FlowerLLM, nhưng đó không phải cho suy luận
Tôi hoan nghênh nỗ lực thoát khỏi phần mềm đóng, nhưng vẫn muốn thấy ví dụ ứng dụng thực tế
Chẳng hạn có vẻ có thể chạy OpenAI Whisper trên /e/OS như một dịch vụ STT qua proxy ẩn danh
Nhưng mức đó thì chạy cục bộ cũng đã đủ, nên tôi vẫn chưa tìm ra trường hợp sử dụng thật sự rõ ràng
Tôi muốn biết mã nguồn của compute node ở đâu