Bạn có muốn tự xây dựng chatbot mã nguồn mở của riêng mình không?

• Trí tuệ nhân tạo (AI) đang làm thay đổi web và tác động đến cuộc sống của con người.
• Mozilla cam kết với AI đáng tin cậy, bao gồm tính minh bạch, quyền riêng tư, quyền tự chủ của người dùng và sự công bằng.
• Các chatbot AI tạo sinh rất phổ biến, nhưng phần lớn đang bị kiểm soát bởi những công ty công nghệ lớn.
• Mozilla tin vào sức mạnh của mã nguồn mở và nỗ lực ngăn việc công nghệ bị kiểm soát bởi một vài doanh nghiệp, đồng thời trao quyền cho người dùng.
• Mozilla gần đây đã tổ chức một cuộc hackathon để xây dựng nguyên mẫu chatbot nội bộ.
• Nhóm đã sử dụng các mô hình ngôn ngữ lớn (LLM) mã nguồn mở và đối mặt với các vấn đề như lưu trữ, môi trường runtime, lựa chọn mô hình, thiên lệch và mở rộng tri thức cho chatbot.
• Họ quyết định lưu trữ chatbot trên hạ tầng đám mây của Mozilla để đảm bảo quyền riêng tư và khả năng kiểm soát.
• Họ đã sử dụng dự án mã nguồn mở llama.cpp để chạy các mô hình dựa trên kiến trúc LLaMA.
• Họ đã đánh giá mô hình về độc tính, thiên lệch, thông tin sai lệch và nội dung nguy hiểm, rồi chọn mô hình LLaMA 2 của Facebook.
• Họ đã tích hợp tri thức nội bộ đặc thù của Mozilla bằng cách sử dụng kỹ thuật embedding và tìm kiếm vector.
• Họ đã phát triển một giải pháp thủ công bằng Python và nhiều thư viện khác nhau.
• Trong quá trình phát triển chatbot, prompt engineering rất quan trọng để cung cấp ngữ cảnh và cải thiện phản hồi.
• System prompt và cửa sổ ngữ cảnh rất quan trọng đối với chức năng của chatbot và ngữ cảnh hội thoại.
• LangChain là công cụ orchestration hàng đầu trong lĩnh vực mô hình ngôn ngữ, nhưng có thể phức tạp để học và sử dụng.
• Có thể dùng các UI chatbot mã nguồn mở như chatbot-ui và Companion để tạo frontend cho mô hình ngôn ngữ.
• Mozilla đã phát triển một chatbot nguyên mẫu phản ánh các giá trị của họ và được lưu trữ an toàn trong tổ chức.
• Chatbot mã nguồn mở vẫn đang tiếp tục phát triển và vẫn còn khó khăn trong việc đánh giá mô hình cũng như đưa ra lựa chọn đúng đắn.
• Mozilla đang nỗ lực giúp các nhà phát triển dễ dàng tham gia vào hệ sinh thái machine learning mã nguồn mở và đóng góp cho cộng đồng hơn.

[GN⁺]

Ý kiến trên Hacker News

• Chatbot bị xem là sự đánh đổi cho việc thiếu thực hành UX trên website.
• Một số người thấy chatbot gây khó chịu và không nghĩ mọi doanh nghiệp đều nên có chatbot.
• Web ngày càng bị kiểm soát bởi số ít công ty, gây ra cuộc đấu tranh về khả năng hiển thị và giao tiếp.
• Chatbot được dùng khi website có UI rối rắm hoặc che giấu thông tin quan trọng.
• Mục đích thực sự của chatbot là thay thế web và ứng dụng di động như phương tiện tiếp xúc đầu tiên với doanh nghiệp.
• Tác giả thực ra không xây dựng chatbot mã nguồn mở mà đang quảng bá việc sử dụng các thư viện mã nguồn mở.
• Việc thiết lập máy chủ bên trong hạ tầng của Google thực ra không mang tính cá nhân và cũng không nằm dưới sự kiểm soát của Mozilla.
• Một số người đã có trải nghiệm tích cực với chatbot, thấy nó hữu ích hơn các phương pháp tìm kiếm truyền thống.
• Có cung cấp tài nguyên để xây dựng mô hình chat với cơ sở dữ liệu vector và mở rộng tìm kiếm tương đồng ngữ nghĩa.