- HyperAgents do Meta và UBC công bố là một framework tác tử AI tự tham chiếu có thể tự chỉnh sửa không chỉ mã thực thi tác vụ mà cả chính cơ chế cải thiện của mình
- Khi lặp lại quá trình tự cải thiện trên nhiều lĩnh vực như lập trình, review bài báo, robotics, chấm toán, tác tử đã tự phát minh ra các thành phần như bộ nhớ bền vững, theo dõi hiệu năng, pipeline xác minh nhiều tầng
- Những thành phần do tác tử tự xây dựng này trùng khớp chính xác với các yếu tố cốt lõi của production harness vốn trước đây do lập trình viên làm thủ công
- Harness không chỉ là tiện ích hỗ trợ phát triển, mà là kiến trúc hội tụ của các hệ thống tác tử, và tác tử đang chuyển từ người tiêu thụ hạ tầng sang người sản xuất
- Vai trò của lập trình viên đang thay đổi từ trực tiếp xây dựng harness sang thiết kế điều kiện khởi đầu để tác tử có thể tiến hóa ra các harness hiệu quả
Tổng quan về HyperAgents
- HyperAgents được giới thiệu trong bài báo mới của Meta và UBC là các tác tử tự tham chiếu (self-referential), có thể chỉnh sửa không chỉ hành vi giải quyết tác vụ mà cả cơ chế tạo ra các cải tiến trong tương lai
- Điều đáng chú ý là khi được để tự cải thiện, tác tử đã tái phát minh đúng các thành phần mà ngày nay lập trình viên vẫn xây thủ công
- Hyperagent được định nghĩa là nhà sản xuất (producer) của hạ tầng
HyperAgents vs Universal Agents
- Universal Agent là một executor có mức thích nghi rất cao, có thể ứng biến giải gần như mọi vấn đề bằng cách viết mã, nhưng vẫn hoạt động bên trong hạ tầng (harness) do con người thiết kế
- Hyperagent là nhà sản xuất hạ tầng, bắt đầu từ trạng thái tối thiểu và tự bootstrap ra một harness cấp production thông qua tiến hóa tự tham chiếu
Định nghĩa Harness và các thành phần cốt lõi
- Harness là hệ thống phần mềm chi phối cách tác tử AI vận hành, quản lý công cụ, bộ nhớ, retry, context engineering, và xác minh để mô hình có thể tập trung vào suy luận
- 6 thành phần cốt lõi cần có trong một production harness:
- Tool Integration: đăng ký và thực thi công cụ
- Memory & State: lưu bền kết quả giữa các bước
- Context Engineering: lắp ráp prompt động
- Planning: phân rã tác vụ phức tạp thành các bước
- Verification: kiểm tra đầu ra theo quy tắc
- Modularity: bật/tắt độc lập từng thành phần
- Theo truyền thống, đây là phạm vi của kỹ thuật do con người thực hiện, nơi lập trình viên tự viết
ToolRegistry, MemoryManager, vòng lặp retry, logic lắp ráp prompt, v.v.
- Câu hỏi mà bài báo HyperAgents đặt ra là: "Điều gì xảy ra nếu tác tử tự xây các thành phần này?"
Cách HyperAgents hoạt động
- Framework được bài báo giới thiệu là DGM-Hyperagents(DGM-H), với ý tưởng cốt lõi khá đơn giản
- Hyperagent là một chương trình chỉnh sửa được duy nhất bao gồm hai phần:
- Task Agent giải quyết tác vụ được giao
- Meta Agent chỉnh sửa cả Task Agent lẫn chính nó
- Từ khóa cốt lõi là "itself": Meta Agent có thể viết lại mã của chính nó, tức là chính cơ chế tạo ra cải tiến cũng trở thành đối tượng được cải thiện
- Bài báo gọi điều này là tự sửa đổi siêu nhận thức (metacognitive self-modification)
- Cách nó vận hành thông qua một vòng lặp tiến hóa:
- Bắt đầu từ tác tử cơ sở
- Meta Agent đọc mã tác tử, phân tích hiệu năng trước đó, rồi tạo phiên bản đã chỉnh sửa
- Đánh giá phiên bản đã sửa; nếu hiệu năng tốt hơn thì thêm vào archive
- Chọn từ archive rồi lặp lại
- Qua hàng trăm vòng lặp, tác tử không chỉ giỏi hơn trong việc làm tác vụ mà còn cải thiện cả năng lực tự cải thiện
Những thành phần xuất hiện từ quá trình tự cải thiện
- Sau khi tự cải thiện trên nhiều lĩnh vực như lập trình, review bài báo, thiết kế reward cho robotics, chấm toán olympiad, tác tử đã tự phát minh ra các yếu tố sau:
Bộ nhớ bền vững (Persistent Memory)
- Không cần chỉ dẫn từ lập trình viên, tác tử đã tự tiến hóa ra hệ thống bộ nhớ
- Lý do là các tác tử có thể ghi nhớ kết quả quá khứ, theo dõi xu hướng hiệu năng và lưu trữ insight tổng hợp đã vượt trội hơn các tác tử không làm được điều đó
- Ví dụ các mục bộ nhớ được nêu trong bài báo: lưu giả thuyết nhân quả, nhận diện thế hệ có hiệu năng tốt nhất, chẩn đoán over-editing, đề xuất cách kết hợp các chiến lược thành công
Theo dõi hiệu năng (Performance Tracking)
- Tác tử đã tự xây dựng khả năng quan sát (observability) cho chính mình
- Bao gồm trung bình trượt của xu hướng cải thiện, thống kê tổng hợp theo từng thế hệ, lịch sử điểm số theo từng miền
- Đây là chức năng tương đương với theo dõi token và audit logging mà lập trình viên vẫn tự xây trong harness
Pipeline đánh giá nhiều tầng (Multi-stage Evaluation Pipelines)
- Trong miền review bài báo, tác tử đã tiến hóa từ các chỉ dẫn hành vi bề mặt sang pipeline đánh giá nhiều tầng rõ ràng
- Bao gồm checklist, quy tắc ra quyết định, và các tiêu chí được định nghĩa minh bạch
- Đây là kết quả của việc tác tử tự xây dựng verifier
Giao thức ra quyết định có ngưỡng (Decision Protocols with Thresholds)
- Tác tử đã phát triển các ranh giới quyết định rõ ràng: tỷ lệ chấp nhận/từ chối, ngưỡng điểm, mức độ tin cậy, v.v.
- Điều này tương đương với các kiểm tra dựa trên quy tắc mà verifier trong harness thực hiện
Cơ sở tri thức miền (Domain Knowledge Bases)
- Trong thiết kế reward cho robotics, tác tử đã dần xây dựng và tinh chỉnh cơ sở tri thức nội bộ về các ràng buộc môi trường, các biến trạng thái hợp lệ, heuristic scale reward, v.v.
- Đây là kết quả của context engineering, nơi tác tử học cách tự lắp ráp đúng ngữ cảnh cho chính mình
Retry và tự hiệu chỉnh (Retry and Self-Correction)
- Khi một chỉnh sửa làm hiệu năng đi xuống, các thế hệ sau đã chẩn đoán sự hồi quy và sửa lại
- Đây là cùng một mẫu với vòng lặp retry có bơm phản hồi mà harness thường triển khai
Bức tranh lớn hơn — xu hướng đang hội tụ vào một dòng chảy
- Mẫu hình được theo dõi trong nhiều nghiên cứu đang nối lại thành một dòng chảy thống nhất:
- Harness Engineering: xác định 6 thành phần mà lập trình viên xây quanh tác tử
- From Copilot to Codex: chuyển dịch từ mã do con người viết sang mã được ủy quyền cho tác tử
- Universal Agents: lập luận rằng năng lực lập trình giúp tác tử trở nên phổ dụng
- HyperAgents: tác tử tự xây harness của mình thông qua tự sửa đổi
- Tác tử đang chuyển từ người tiêu thụ hạ tầng sang người sản xuất, từ giai đoạn chạy bên trong harness sang giai đoạn tự kỹ thuật hóa harness
- Minh họa cụ thể trong bài DGM-H: bắt đầu từ một tác tử trần chỉ có một lần gọi LLM, sau hàng trăm vòng tự sửa đổi đã phát triển thành trạng thái có bộ nhớ bền vững, theo dõi hiệu năng, pipeline đánh giá nhiều tầng, cơ sở tri thức miền, và cấu trúc mã mô-đun
- Vai trò của lập trình viên không biến mất mà đang chuyển dịch, và bài báo nhấn mạnh rằng giám sát của con người vẫn là điều thiết yếu
- Vai trò đang dịch chuyển từ trực tiếp xây harness sang thiết kế các điều kiện khởi đầu để tác tử có thể tiến hóa ra harness hiệu quả
3 bình luận
Việc tái phát minh các thành phần của harness có lẽ không phải là một sự hội tụ tất yếu, mà đúng hơn là kết quả của việc bắt chước những tiền lệ đã có thể dễ dàng tìm thấy trước đó, chẳng hạn qua tìm kiếm web.
Chỉ khi nào có thể nói rằng họ đã thành công trong việc tái phát minh các thành phần của AI agent trong điều kiện chỉ được học và truy cập bằng dữ liệu quá khứ, thì mới có thể gọi đó là sự hội tụ về kiến trúc, đúng không?
Đây là khởi đầu của Skynet à haha
Cái này có hợp lý không vậy??...