Có dự án hoặc công cụ nào ghi log mọi hành vi có thể quan sát được ở cấp hệ thống khi sử dụng AI, chẳng hạn như input và output, hoạt động của tiến trình (tìm kiếm web, quyền thực thi, thực thi, v.v.), thông qua hình thức cài đặt tại chỗ hoặc giao diện WebUI không?
Dù chỉ một phần cũng được. Ví dụ như dịch vụ thương mại chẳng hạn.
Trong trường hợp như Claude Code, chạy Claude bằng cách gõ claude trong cmd, rồi sau đó ghi log input và output, cũng như các tác vụ mà tiến trình Claude thực hiện trong khi chạy (mạng, hành vi cục bộ, v.v.)...
7 bình luận
Tôi đã xây dựng bằng clickstack. Thiết lập otel rồi bắn dữ liệu đi theo cách đó.
Chẳng phải đó là những tính năng được cung cấp trong Litellm proxy và LangSmith sao?
Có dịch vụ do một người làm vibe coding, từng là lập trình viên của Toss, vận hành, hình như là Argos hay gì đó kiểu Cursor Mafia? Dịch vụ này còn có thể self-host, có thể giám sát nhiều tài khoản theo API key hoặc gói cước, và có vẻ có những tính năng như theo dõi đã chạy bao nhiêu phiên, đã dùng công cụ gì, v.v.
Tôi không nhớ rõ là chỉ hỗ trợ Claude hay sao, nhưng nếu bạn định tự làm theo nhu cầu riêng thì có thể thử mổ xẻ xem qua cũng được.
Nếu là bên Claude Code thì hãy thử
cc-token-saver(https://github.com/ww-w-ai/cc-token-saver).Claude Code ghi lại toàn bộ input/output và các lệnh gọi tool (đọc file, ghi file, chạy bash, yêu cầu web, v.v.) vào transcript (
.jsonl) theo từng phiên, vàcc-token-saversẽ phân tích dữ liệu này rồi trực quan hóa thành bảng điều khiển HTML để cho thấy mỗi phiên đã làm gì, token đã được dùng ở đâu và bao nhiêu. Bạn có thể nhìn một lần là biết được “trong phiên này AI đã đụng vào những file nào, chạy lệnh bao nhiêu lần, và tốn bao nhiêu chi phí”.Đặc biệt, kỹ năng
/continuelà tính năng phân tích transcript để khôi phục lại các phiên trước đó, nhưng vì vẫn có thể dùng cùng chức năng phân tích transcript nên bạn cũng có thể ra lệnh kiểu như “hãy phân tích input, output và thông tin mạng cho trường hợp/continue~”. (LLM sẽ tự điều chỉnh và áp dụng cho phù hợp)Không chỉ riêng AI, bạn có thể dùng
stracevà nhiều công cụ gỡ lỗi khác. Nếu định xây dựng ở mức dịch vụ cho bài bản, hãy xem các công cụ dựa trên eBPF.Tôi thử đưa chính câu hỏi này vào Gemini thì cũng ra được vài cái. Bạn đã thử tìm như vậy chưa?
Bạn có thể muốn nghe câu trả lời từ các thành viên cộng đồng hơn là từ Gemini. Tôi nghĩ đây là một câu hỏi hoàn toàn chính đáng.