axon - alpha của trình điều phối AI được quản lý trong trình duyệt

 (github.com/dogsinatas29)
1 điểm bởi dogsinatas 12 ngày trước | 3 bình luận | Chia sẻ qua WhatsApp

https://youtu.be/gmUdrVNKrPg?feature=shared
Đây là video proof of concept. Tôi làm việc không chỉnh sửa, và do cấu hình máy chủ đúng như vậy nên sẽ cần một chút kiên nhẫn.
LLM cục bộ chạy ollama bằng airllm trên i7 Haswell, RAM 16GB, 1050ti, và tôi đặt qwen cùng llama3 lên trên đó.
Việc phát triển đang được thực hiện với Google Antigravity.
Video này được thực hiện chỉ với LLM cục bộ, không dùng API.
Khi chạy axon, hệ thống sẽ quyết định các mô hình architect/senior/junior; khi đưa đặc tả vào, architect (tot) sẽ chia nhỏ công việc, còn junior sẽ đề xuất mã cho từng phần việc (cot). Senior sẽ review đoạn mã này (cot->tot) và phê duyệt hoặc từ chối. Toàn bộ quá trình này đều được đăng dưới dạng thread trên một bảng tin localhost, và khi được phê duyệt thì tệp thực tế mới được tạo ra. Trước đó, mọi thứ đều diễn ra trong môi trường sandbox.
Ở bước thiết lập ban đầu có phần ép buộc ngôn ngữ theo quốc gia cho LLM. Hiện hỗ trợ tiếng Anh, tiếng Hàn và tiếng Nhật.

Tôi đã kiểm chứng bằng Rust và Python.
Hiện tôi đang thử nghiệm với C và C++, nhưng do giới hạn của IR và trình kiểm chứng nên tôi đang tách riêng trình kiểm chứng theo từng ngôn ngữ.

Trong tương lai, sẽ có một bảng tin để các AI tán gẫu lúc rảnh rỗi,
việc tuyển dụng và sa thải senior/junior thông qua bảng tin chào hỏi, cùng với việc tiêm persona,
và cũng sẽ tiến hành công việc brownfield để nâng cấp các kết quả mà axon tạo ra.
Nếu bạn quan tâm, tôi sẽ rất cảm kích nếu ghé qua và thử nghiệm giúp.

Bài viết liên quan

3 bình luận

 
dogsinatas 6 ngày trước

https://youtu.be/3-WkOl0DwMM
Mình đã thử viết cùng một chương trình bằng Rust.
Khi thiết lập ban đầu, nó tự động tìm tiện ích mở rộng LSP của Nvim hoặc VSCode để các LLM có thể sử dụng trong Axon.
 
dogsinatas 8 ngày trước

https://youtu.be/3dzJkv2ieJg
Ban đầu tôi tạo IR theo hướng dùng chung, sau đó tách IR theo từng ngôn ngữ và làm video kiểm chứng ý tưởng cho ngôn ngữ C.
Thiết lập LLM -> chèn đặc tả -> kiểm tra và phân loại đặc tả (architect llm) -> người dùng xác nhận -> tách công việc (architecture.md / CMakeLists.txt để kiểm chứng CMake) -> thực hiện Phase 1, Phase 2, Phase 3 -> hoàn tất
Nếu trong quá trình đó phát sinh vấn đề vượt quá một số lần nhất định thì người dùng sẽ có thể can thiệp.
Tôi cũng đã đính kèm cả đặc tả dùng để kiểm chứng.
Giờ ngoài C, tôi sẽ kiểm chứng lại cả phần Rust và Python rồi làm video tiếp.