Có dự án hoặc công cụ nào ghi log mọi hành vi có thể quan sát được ở cấp hệ thống khi sử dụng AI, chẳng hạn như input và output, hoạt động của tiến trình (tìm kiếm web, quyền thực thi, thực thi, v.v.), thông qua hình thức cài đặt tại chỗ hoặc giao diện WebUI không?
Dù chỉ một phần cũng được. Ví dụ như dịch vụ thương mại chẳng hạn.
Trong trường hợp như Claude Code, chạy Claude bằng cách gõ claude trong cmd, rồi sau đó ghi log input và output, cũng như các tác vụ mà tiến trình Claude thực hiện trong khi chạy (mạng, hành vi cục bộ, v.v.)...
10 bình luận
Tôi không chắc đây có đúng là thứ bạn đang tìm hay không, nhưng về theo dõi mô hình thì có một mã nguồn mở là https://langfuse.com/ .
Không chắc tôi có được phép để lại bình luận về thứ mình đã tạo ra hay không, nhưng tôi nghĩ có thể nó sẽ hữu ích nếu bạn đang tìm một công cụ như thế này nên xin phép để lại bình luận. (Nếu đây là điều bị cấm thì cho tôi xin lỗi.)
Dù không ghi lại mọi hành vi của AI, tôi đang xây dựng một dịch vụ ghi log xem hệ thống đã tham chiếu những gì để đưa ra câu trả lời đó. Nó được pivot từ một semantic hub đơn giản. Dựa trên Merkle tree, hash được ghi vào sổ cái bên ngoài và áp dụng witness thông qua rekor để ngăn chặn việc giả mạo, sửa đổi.
Nếu là mô hình không phải LLM với số lượng tham số nhỏ, cũng có thể áp dụng zkml để kiểm tra tính nhất quán giữa đầu vào và đầu ra câu trả lời.
Nếu bạn đưa demo audit log bên dưới vào trình xác minh chứng minh log ở cuối trang chủ, bạn có thể kiểm tra được những gì có thể được xác thực.
Trang: https://hub.rawctx.dev/
Demo audit log: https://github.com/pasar6987-create/rawctx-demo-audit-log/…
Tôi thử đưa chính câu hỏi này vào Gemini thì cũng ra được vài cái. Bạn đã thử tìm như vậy chưa?
Có thể hơi lạc đề, nhưng mình nghĩ kiểu bình luận này có ảnh hưởng tiêu cực đến bầu không khí của cộng đồng.
Nếu có điều gì thắc mắc thì có thể thoải mái hỏi sẽ tốt hơn,
những lời kiểu như tự đi mà tìm đi thì,
đặc biệt là cũng có nhiều người đã mệt mỏi với AI slop, nên lại còn bảo cứ dựa vào câu trả lời của LLM thì càng không ổn hơn..
Bạn có thể muốn nghe câu trả lời từ các thành viên cộng đồng hơn là từ Gemini. Tôi nghĩ đây là một câu hỏi hoàn toàn chính đáng.
Tôi đã xây dựng bằng clickstack. Thiết lập otel rồi bắn dữ liệu đi theo cách đó.
Chẳng phải đó là những tính năng được cung cấp trong Litellm proxy và LangSmith sao?
Có dịch vụ do một người làm vibe coding, từng là lập trình viên của Toss, vận hành, hình như là Argos hay gì đó kiểu Cursor Mafia? Dịch vụ này còn có thể self-host, có thể giám sát nhiều tài khoản theo API key hoặc gói cước, và có vẻ có những tính năng như theo dõi đã chạy bao nhiêu phiên, đã dùng công cụ gì, v.v.
Tôi không nhớ rõ là chỉ hỗ trợ Claude hay sao, nhưng nếu bạn định tự làm theo nhu cầu riêng thì có thể thử mổ xẻ xem qua cũng được.
Nếu là bên Claude Code thì hãy thử
cc-token-saver(https://github.com/ww-w-ai/cc-token-saver).Claude Code ghi lại toàn bộ input/output và các lệnh gọi tool (đọc file, ghi file, chạy bash, yêu cầu web, v.v.) vào transcript (
.jsonl) theo từng phiên, vàcc-token-saversẽ phân tích dữ liệu này rồi trực quan hóa thành bảng điều khiển HTML để cho thấy mỗi phiên đã làm gì, token đã được dùng ở đâu và bao nhiêu. Bạn có thể nhìn một lần là biết được “trong phiên này AI đã đụng vào những file nào, chạy lệnh bao nhiêu lần, và tốn bao nhiêu chi phí”.Đặc biệt, kỹ năng
/continuelà tính năng phân tích transcript để khôi phục lại các phiên trước đó, nhưng vì vẫn có thể dùng cùng chức năng phân tích transcript nên bạn cũng có thể ra lệnh kiểu như “hãy phân tích input, output và thông tin mạng cho trường hợp/continue~”. (LLM sẽ tự điều chỉnh và áp dụng cho phù hợp)Không chỉ riêng AI, bạn có thể dùng
stracevà nhiều công cụ gỡ lỗi khác. Nếu định xây dựng ở mức dịch vụ cho bài bản, hãy xem các công cụ dựa trên eBPF.