pi-autoresearch: mã nguồn mở khái quát hóa ý tưởng "thử nghiệm tự chủ bằng AI" của Karpathy

Tóm tắt một dòng

Thử ý tưởng → đo lường → nếu cải thiện thì giữ, không thì bỏ → lặp lại mãi mãi.

pi-autoresearch là một phần mở rộng của tác nhân lập trình AI trên terminal pi, khái quát hóa khái niệm autoresearch của Karpathy để có thể áp dụng cho bất kỳ bài toán tối ưu hóa nào.

Trước tiên, pi là gì?

pi là tác nhân lập trình AI hoạt động trong terminal. Khác với các công cụ dựa trên IDE như Cursor hay Windsurf, nó được thiết kế theo hướng terminal-native nên có thể dùng nguyên vẹn trong môi trường truy cập SSH hoặc trên server headless.

Điểm cốt lõi của pi là hệ thống Extension và Skill:

• Extension — thêm công cụ (tool) mới cho tác nhân. Ngoài các công cụ cơ bản như đọc/ghi file hay chạy lệnh, bạn có thể cắm thêm công cụ tùy biến theo kiểu plugin.
• Skill — dạy các mẫu tác vụ cụ thể. Nó định nghĩa workflow kiểu “trong tình huống này thì hãy dùng các công cụ này theo thứ tự này”.

Chỉ với một dòng pi install <github-url>, bạn có thể cài các Extension và Skill do cộng đồng tạo ra, nên đây là cấu trúc cho phép mở rộng năng lực của tác nhân rất linh hoạt. pi-autoresearch chính là một gói Extension+Skill được xây dựng trên hệ thống này.

Bối cảnh: autoresearch của Karpathy

Vào tháng 3 năm 2026, ý tưởng autoresearch mà Karpathy công bố rất đơn giản:

• đưa cho tác nhân AI một đoạn mã huấn luyện LLM duy nhất (train.py)
• để nó sửa mã, chạy huấn luyện trong 5 phút
• nếu validation loss cải thiện thì keep, nếu không thì discard
• lặp lại suốt đêm → sáng dậy có log thử nghiệm + mô hình tốt hơn

Với thiết kế cực kỳ tối giản (3 file, 1 GPU, 1 metric), đây là dự án tập trung vào việc chứng minh khái niệm rằng “tác nhân có thể tự chủ đóng vai trò nhà nghiên cứu”. Tuy vậy, nó vốn có giới hạn bẩm sinh là chỉ dành cho GPU NVIDIA và chỉ áp dụng được cho huấn luyện LLM.

pi-autoresearch khác ở đâu

1. Không bị giới hạn miền ứng dụng

Không chỉ loss khi huấn luyện LLM, mà bất kỳ thứ gì có thể đo lường được như tốc độ chạy test, kích thước bundle, thời gian build, điểm Lighthouse đều có thể trở thành mục tiêu tối ưu hóa. Điều này có được nhờ cấu trúc tách biệt giữa “hạ tầng (Extension)” và “tri thức miền (Skill)” của pi.

• Tốc độ test — seconds ↓ — pnpm test
• Kích thước bundle — KB ↓ — pnpm build && du -sb dist
• Huấn luyện LLM — val_bpb ↓ — uv run train.py
• Lighthouse — perf score ↑ — lighthouse --output=json

2. Khởi động lại cũng không mất trí nhớ

Tác nhân AI có giới hạn context window, nên trong các thử nghiệm kéo dài, context có thể bị reset hoặc tiến trình có thể chết. pi-autoresearch lưu giữ đầy đủ trạng thái phiên bằng hai file:

• autoresearch.jsonl — log append-only của mọi thử nghiệm
• autoresearch.md — tóm tắt mục tiêu, những gì đã thử, ngõ cụt, và các kết quả chính

Ngay cả khi thay bằng một tác nhân mới hoàn toàn không có ký ức, chỉ cần đọc hai file này là nó có thể tiếp nối chính xác phiên trước. Về thực chất, đây là một mẫu “bộ nhớ ngoài cho tác nhân”.

3. Phân biệt cải thiện thật với nhiễu

Benchmark có thể cho ra kết quả khác nhau mỗi lần dù chạy cùng một đoạn mã. Sau từ 3 lần thử nghiệm trở lên, hệ thống sẽ tự động tính confidence score dựa trên MAD (Median Absolute Deviation) để hiển thị trực quan liệu đó là cải thiện thật hay chỉ là nhiễu.

• 🟢 ≥ 2.0× — khả năng cao là cải thiện thực sự
• 🟡 1.0–2.0× — vượt mức nhiễu nhưng khá nhỏ
• 🔴 < 1.0× — nằm trong phạm vi nhiễu, nên chạy lại

Tuy nhiên, hệ thống không tự động loại bỏ thử nghiệm, mà giao quyết định cuối cùng cho tác nhân.

4. Ngăn tối ưu hóa làm hỏng tính đúng đắn

Nếu có autoresearch.checks.sh, sau khi benchmark đạt yêu cầu thì các bước kiểm chứng tính đúng đắn như test, type check, lint sẽ tự động chạy. Điều này chặn ở cấp hệ thống cái bẫy điển hình “làm nhanh hơn nhưng lại làm vỡ test”.

5. Gom kết quả thử nghiệm thành PR gọn gàng

Khi thử nghiệm kết thúc, skill autoresearch-finalize sẽ nhóm các thử nghiệm đã được keep thành những changeset hợp lý và tách chúng ra thành các nhánh git độc lập. Vì hệ thống đảm bảo file không chồng chéo, mỗi nhánh có thể được review và merge một cách độc lập.

Workflow

1. /autoresearch optimize unit test runtime  
   → thiết lập mục tiêu·lệnh·metric → đo baseline → bắt đầu vòng lặp  
  
2. Vòng lặp tự chủ (lặp vô hạn)  
   → sửa mã → git commit → benchmark → kiểm chứng tính đúng đắn  
   → cải thiện? keep / thụt lùi? revert → ghi vào .jsonl → lặp lại  
  
3. /skill:autoresearch-finalize  
   → gom các thử nghiệm đã keep thành nhánh độc lập → review·merge  

Kiểm soát chi phí

Vì vòng lặp tự chủ liên tục tiêu tốn token, hệ thống cung cấp hai guardrail: giới hạn hạn mức API key và maxIterations (số lần thử nghiệm tối đa trong mỗi phiên).

Vì sao đáng chú ý

Nếu autoresearch của Karpathy là một màn chứng minh khái niệm thú vị rằng “AI tự tiến hành thử nghiệm”, thì pi-autoresearch là nỗ lực biến nó thành một công cụ đa dụng có thể dùng trong môi trường phát triển thực tế. Việc nó được xây dựng trên kiến trúc Extension/Skill của pi cũng giúp hạ rào cản tiếp cận, vì chỉ cần một lệnh cài đặt là có thể gắn ngay vào workflow pi hiện có.

Điểm ấn tượng là dự án giải quyết một cách có hệ thống các vấn đề rất thực chiến như lưu trạng thái phiên, kiểm chứng độ tin cậy thống kê, bảo vệ tính đúng đắn, và workflow mang tính Git-native. Việc chạy nó qua đêm rồi sáng ra review PR liệu có trở thành quy trình thực tế hay không là điều rất đáng theo dõi.

[tensun]

Đúng là pi

[unqocn]

pi tuyệt quá