MirrorOn - Tôi đã tạo một chương trình truy vấn đa LLM.

[LLM]
LLM (Large Language Model) giờ đây đã trở thành một sự hiện diện mà thiếu đi thì thấy tiếc. Ở góc độ lập trình viên, tôi đã dùng Github Copilot khá tốt như một trợ lý lập trình suốt 2 năm nay, nhưng giờ ChatGPT và Claude lại có thể tạo ra mã tốt hơn, và gần đây khi RAG (Retrieval-Augmented Generation) trở thành một từ khóa quan trọng đối với lập trình viên, tôi không thể không tìm hiểu về cấu trúc và API của MML nên đã bắt đầu học.

Tôi luôn nghĩ cách học nhanh nhất là dạy lại hoặc tự làm thử, nên mỗi khi học điều gì đó tôi thường bắt đầu một dự án mới để áp dụng; dự án tôi tạo ra trong lần học về LLM này chính là MirrorOn.

[Công cụ truy vấn đa LLM MirrorOn]

MirrorOn là một công cụ truy vấn cho phép đặt một câu hỏi duy nhất và nhận câu trả lời từ nhiều LLM. Tên gọi được lấy cảm hứng từ câu “Gương kia ngự ở trên tường…”. ^^ Khi bật gương lên (On!), nó sẽ cho bạn biết ai là người đẹp nhất thế gian.

Hiện tại (V 0.1.0), có thể sử dụng ChatGPT, Claude và Ollama. ChatGPT và Claude cần API key. Người dùng tự cấp API key, nhập khóa trong phần cài đặt rồi nhập câu hỏi để xem kết quả truy vấn API. Ứng dụng được thiết kế để có thể duy trì ngữ cảnh hội thoại, đồng thời có thể thực hiện sao chép, xóa, chia sẻ... thông qua menu.

[LLM cục bộ]

Ollama (https://ollama.com) là chương trình giúp chạy LLM trên máy tính của người dùng. Bạn có thể cài Ollama từ liên kết trên, cài model mong muốn và đặt câu hỏi miễn phí(!). Tùy theo dung lượng máy tính cho phép, bạn có thể chạy nhiều model khác nhau.
Nếu dùng MirrorOn như một Ollama client, bạn có thể tiết kiệm chi phí phải trả hằng tháng cho LLM.

[RAG – Retrieval-Augmented Generation]

RAG (Retrieval-Augmented Generation), từ góc nhìn của nhà phát triển ứng dụng, có lẽ sẽ trở thành một tính năng bắt buộc phải có trong tương lai. MML không thể biết mọi thứ, nhưng nhu cầu của người dùng thì rất đa dạng, và cách để đáp ứng điều đó chính là RAG.

Trong MirrorOn V0.1.0, tôi đã thử xây dựng các chức năng cơ bản. Hiện tại mới ở mức tải lên tài liệu PDF rồi tóm tắt và tìm kiếm, nhưng trong tương lai tôi dự định sẽ bổ sung các tính năng như vector hóa.
Ngoài ra còn có các tính năng chuyên biệt để sử dụng LLM, chẳng hạn tải ảnh lên để đặt câu hỏi về nội dung, hoặc cung cấp instruction cho LLM. Hãy tham khảo liên kết để xem chi tiết tính năng. Ứng dụng hỗ trợ tiếng Anh và tiếng Nhật, đồng thời cũng có tài liệu hướng dẫn.

[Giải thích chi tiết tính năng]

https://github.com/bipark/MirrorOn

[Tải xuống]

Hiện tại chỉ có phiên bản Mac. Tôi đã thử trong vài tuần để đưa lên Mac App Store, nhưng do vấn đề với tính năng nhập API key nên Apple đang tạm hoãn phê duyệt, vì vậy tôi đã tải lên Git Release để người dùng tải về từ đó. Hy vọng sau này khi được Apple phê duyệt, ứng dụng cũng sẽ có mặt trên App Store. Tôi cũng đang làm phiên bản cho Windows.

https://github.com/bipark/MirrorOn/releases/tag/MirrorOn