MemGPT - Các LLM với bộ nhớ tự biên tập cho ngữ cảnh vô hạn

• MemGPT là một hệ thống mới quản lý phân cấp bộ nhớ của các mô hình ngôn ngữ (LLM), cung cấp ngữ cảnh mở rộng trong phạm vi cửa sổ ngữ cảnh bị giới hạn của LLM.
• Hệ thống này cho phép hội thoại liên tục bằng cách xác định khi nào cần lưu trữ và truy xuất thông tin quan trọng từ cơ sở dữ liệu vector.
• MemGPT có thể được dùng để tạo chatbot có bộ nhớ tự biên tập.
• Có thể thử nghiệm hệ thống MemGPT bằng cách gửi tin nhắn cho bot MemGPT trong kênh #memgpt trên Discord.
• Để chạy MemGPT cục bộ, người dùng cần cài đặt các phụ thuộc, thêm khóa API OpenAI vào môi trường và chạy main.py.
• Người dùng có thể tạo người dùng khởi đầu mới hoặc persona mới cho MemGPT bằng cách tạo tệp .txt mới trong /memgpt/humans/examples hoặc /memgpt/personas/examples.
• MemGPT hỗ trợ nhiều lệnh CLI như /exit, /save, /load, /dump, /memory, /pop, /heartbeat, /memorywarning.
• Theo mặc định, MemGPT sử dụng gpt-4, vì vậy cần một khóa API có quyền truy cập API gpt-4.
• Với các vấn đề hoặc yêu cầu tính năng, người dùng được khuyến nghị mở issue trên GitHub.
• Bộ dữ liệu được sử dụng trong bài báo MemGPT có thể được tải xuống từ HuggingFace.

[GN⁺]

Ý kiến trên Hacker News

• Các tác giả của MemGPT sẵn sàng trả lời các câu hỏi về cách triển khai
• MemGPT có một bot Discord hiển thị việc chỉnh sửa bộ nhớ theo thời gian thực
• Mã nguồn MemGPT là mã nguồn mở và có sẵn trên GitHub
• Một người bình luận đề xuất quy trình song song hóa nhiều yêu cầu tới các agent khác nhau ở giai đoạn tiền xử lý và hậu xử lý
• Một người bình luận khác đề xuất sử dụng lấy mẫu dựa trên ngữ pháp để đảm bảo việc gọi hàm được thực hiện đúng về mặt cú pháp
• Một số người bình luận bày tỏ sự hào hứng với dự án và xem đây là một tính năng nền tảng cho các chatbot trong tương lai
• Các tác giả đã công bố một chatbot Discord duy trì lâu dài được xây dựng trên MemGPT
• Một số người bình luận cho rằng cửa sổ ngữ cảnh là hạn chế lớn nhất của các LLM
• Có thảo luận về cách các tác giả lựa chọn tiêu đề
• Một người bình luận chỉ trích cách tiếp cận này, cho rằng nó phụ thuộc vào giả định rằng ngữ cảnh hiện có được cấu thành từ ngữ cảnh có entropy thấp, có thể tóm tắt được, và mọi truy vấn chỉ phụ thuộc vào một phần của lịch sử. Họ tin rằng điều này không phải lúc nào cũng đúng, đặc biệt là trong ngữ cảnh tạo mã.