MemoryCache: dự án của Mozilla nhằm tăng cường AI cục bộ trên trình duyệt
(future.mozilla.org)- Nội dung được cung cấp là từ trang chủ Mozilla New Products, và không bao gồm phần giới thiệu MemoryCache trong tiêu đề Hacker News
- Mozilla New Products là nơi khám phá, thử nghiệm và tìm hiểu các sản phẩm mới, đồng thời mời người dùng tham gia định hình thế hệ công nghệ tiếp theo
- Các sản phẩm hiện có thể xác nhận gồm Solo để tạo website, chương trình săn lỗi bảo mật AI 0din, và API thực thi web/chuyển đổi dữ liệu cho hệ thống AI Tabstack
- Bản tin cung cấp quyền truy cập sớm vào các sản phẩm và tính năng mới nhất của Mozilla, khám phá cập nhật và kênh chia sẻ phản hồi
- Chỉ với nội dung này, không thể xác nhận được cấu trúc của MemoryCache, cách tăng cường AI cục bộ trên trình duyệt, cách sử dụng hay các điều kiện hạn chế
Nội dung được cung cấp là trang chủ Mozilla New Products
- Mozilla New Products được giới thiệu là nơi khám phá, thử nghiệm và tìm hiểu các sản phẩm đổi mới giúp nâng cao năng suất, phát triển kinh doanh và xây dựng sản phẩm
- Mozilla tạo ra các giải pháp đặt con người lên trước và mời người dùng tham gia thử nghiệm sản phẩm mới để cùng định hình thế hệ công nghệ tiếp theo
- Mozilla nhấn mạnh định hướng rằng tương lai của Internet phải cởi mở, dễ tiếp cận và ưu tiên quyền riêng tư
Các sản phẩm và cách tham gia có thể xác nhận
- Solo: sản phẩm cho phép tạo website miễn phí và kết nối tên miền tùy chỉnh
- 0din: chương trình săn lỗi bảo mật AI cho phép tìm lỗ hổng trong các mô hình LLM và nhận thưởng
- Tabstack: API thực thi web/chuyển đổi dữ liệu giúp các hệ thống AI có thể đọc web và thực hiện tác vụ một cách ổn định
- Dành cho các nhà phát triển xây dựng AI agent, công cụ nghiên cứu, pipeline dữ liệu và quy trình làm việc tự động
- Bản tin Mozilla New Products cung cấp quyền truy cập sớm, khám phá cập nhật và chia sẻ phản hồi về các sản phẩm và tính năng mới nhất
- Nội dung được cung cấp không có phần mô tả liên quan đến MemoryCache, nên không thể xác nhận các chi tiết về tính năng hay triển khai
2 bình luận
Mọi thứ đều ổn, nhưng mong là đừng cứ cố biến trình duyệt thành một cửa hàng đồ cũ tạp nham nữa.
Hẳn đã có bài học rút ra từ bộ internet suite ngày xưa rồi chứ.
Trình duyệt là trình duyệt. AI là AI. Khi cần thì chỉ việc chạy riêng là được.
Ý kiến trên Hacker News
Thay vì dữ liệu đi tới mô hình, mô hình phải đến với dữ liệu cục bộ, và dữ liệu nên ở lại cục bộ
Có nhiều phần mềm mã nguồn mở để nạp dữ liệu cá nhân, nhưng chúng chưa xử lý tốt cả hình ảnh hay video. Trong tương lai, mỗi người có thể sẽ có mô hình riêng, nhưng hiện tại dù công nghệ đã có, vẫn thiếu sản phẩm hoặc mã nguồn mở giúp mọi người dễ dàng có QLORA, RAG, bộ tóm tắt của riêng mình
Không chỉ tin nhắn hay tài liệu, những gì ta đọc và viết, cả suy nghĩ, cũng là các yếu tố tạo nên một cá nhân. Lịch sử duyệt web nói rất nhiều về việc ta đọc gì, nhưng gần như không được tận dụng ngoài việc Google dùng cho quảng cáo. Cần có khả năng gom các trang tin, mạng xã hội, video YouTube mà ta xem hằng ngày lại và nói: “tóm tắt hôm nay của 3 nơi này là như sau”
Hôm qua khi xem https://www.youtube.com/watch?v=zHLCKpmBeKA, tôi đã nghĩ rằng vì sao sau gần 30 năm mà ta vẫn chưa có một trợ lý máy tính đi trước ta một bước
LLaVA là một mô hình ngôn ngữ lớn có khả năng hình ảnh đa phương thức, và chạy khá ổn trên laptop của tôi: https://simonwillison.net/2023/Nov/29/llamafile/
Các mô hình như Salesforce BLIP cũng có thể dùng để tạo chú thích ảnh, và tôi đã làm một công cụ CLI nhỏ cho việc đó: https://github.com/simonw/blip-caption
Họ gom dữ liệu về người dùng, tức thông tin đến từ máy tính và Internet, vào cơ sở dữ liệu cục bộ và để mô hình học cách sử dụng nó. Mô hình có thể là cục bộ hoặc dựa trên đám mây, và có thể định tuyến yêu cầu tùy theo độ nhạy cảm của dữ liệu hoặc chức năng cần thiết
Nếu nghe có vẻ thú vị thì họ cũng đang tuyển dụng
Phần lớn tìm kiếm của tôi là để tìm lại thứ tôi từng xem trước đây, nhưng thường bị chặn vì trang đã biến mất, bị xếp hạng thấp trên công cụ tìm kiếm, hoặc bị vùi trong tối ưu hóa tìm kiếm như các tài liệu cũ chỉ dùng HTTP
Tôi đồng ý với ý rằng mô hình phải đến phía dữ liệu của chúng ta. Nếu trí tuệ kiểu Copilot có thể chạy hoàn toàn trong thiết bị và rà qua các dấu vết cá nhân như tin nhắn, lịch sử duyệt web, nội dung trang web, thì đó sẽ là yếu tố thay đổi cuộc chơi
Truy vấn tìm kiếm của Bing Chat trông như mức của một ông chú vừa được giải thích sơ sơ công cụ tìm kiếm là gì rồi nhập vào. Nó nên dùng các toán tử nâng cao như
site:hayfiletype:, ít nhất là cả ngoặc và AND/ORCó thể tinh chỉnh để mô phỏng quá trình tìm kiếm của các nhà nghiên cứu xuất sắc, trợ lý pháp lý, và những thiếu niên thuộc phổ tự kỷ có thể lập tức fact-check câu chuyện Ellis Island của ông nội và tìm ra hồ sơ đến nơi cùng bằng chứng nhập tịch ở Chicago
Ý tưởng hay. Mozilla bị chửi rất nhiều, và cũng đáng bị như vậy, vì quản lý Firefox kém và giảng đạo chính trị, nhưng tôi vẫn nghĩ họ còn năng lực tạo ra công nghệ thân thiện với người dùng đồng thời bảo vệ quyền riêng tư
Tôi thường dùng trình dịch ngoại tuyến tích hợp trong Firefox và thấy nó như phép màu. Tôi không nghĩ thứ như vậy có thể chạy cục bộ mà không cần phần cứng cỡ server farm
Hy vọng thử nghiệm lần này cũng được như vậy
Cách tôi dùng trình duyệt không thật sự hợp với thứ này. Tôi không muốn “chat” với lịch sử duyệt web, chỉ muốn trình duyệt lập chỉ mục nội dung bookmark trong hệ điều hành để có thể tìm kiếm nội dung thật của trang
Tôi nghĩ vòng phản hồi nhận được từ ChatGPT sẽ luôn tốt hơn nhiều so với một thứ tương đương GPT cục bộ
Nhưng tôi thường bookmark các trang có thông tin quan trọng để sau này xem lại hơn một lần. Vì vậy tôi đã bắt đầu làm một giải pháp crawl bookmark trong bộ lưu trữ trình duyệt cục bộ, tải các trang đó xuống và thêm vào chỉ mục tìm kiếm của hệ điều hành
Đây là chỗ ngứa tôi đã muốn gãi suốt vài năm
Cá nhân tôi chỉ cần các trình duyệt đừng cứ quên lịch sử là đã hài lòng rồi. Cả Firefox lẫn Safari đều có thời gian lưu lịch sử quá ngắn
Tôi thật sự muốn có cách “chat” với lịch sử duyệt web và nội dung trang. Tôi tò mò liệu có cách tự động lưu các trang đã truy cập để xử lý sau không
Tôi đã tìm hơn 10 năm trước nhưng không tìm được giải pháp ổn
Bookmark truyền thống đã thất bại vì cách tổ chức dựa vào trí nhớ không thể mở rộng. Giao diện kiểu này có thể mở rộng, và nếu làm đúng, nó có thể thay thế hoàn toàn bookmark
Nghĩ kỹ thì nó cũng có thể áp dụng cho toàn bộ tệp cục bộ, hoạt động như một phiên bản tốt hơn của ý tưởng cũ “dùng filesystem như database”. Nó cũng phù hợp với các knowledge base cụ thể, chẳng hạn như một dạng Zotero dựa trên mô hình ngôn ngữ lớn
Nếu có thể khiến mô hình ngôn ngữ lớn điền RDF đúng cách, và với bộ nhớ cùng thiết bị lưu trữ nhiều hơn, nhanh hơn nhiều như hiện nay, có lẽ nó sẽ hoạt động
https://withorbit.com/
Có vẻ Mozilla đã nắm bắt được điều gì đó
Thay vì trao đổi prompt với các tập đoàn khổng lồ và mỗi lần lại khiến họ giàu thêm, đây là cách dùng các mô hình cục bộ nhỏ hơn và tôn trọng quyền riêng tư hơn rất nhiều
Với mô hình vận hành như vậy, tôi sẵn sàng đóng góp mã nguồn mở, thậm chí tài trợ
Thành thật mà nói tôi không phải fan lớn của tổ chức Mozilla, nhưng khó mà không ủng hộ kẻ yếu thế
Với ai quan tâm, repository PrivateGPT ở đây: https://github.com/imartinez/privateGPT
Có vẻ trang web chính thức không đặt link tới nó
Cập nhật: tự tìm thử thì có vẻ ở chế độ cục bộ nó dùng llamacpp: https://github.com/imartinez/privateGPT/blob/main/private_gp...
Có lẽ vì từng là thực tập sinh trải qua thời Firefox OS, nên việc này với tôi giống như bước tái nhập cuộc để Mozilla sau này lại tung ra hệ điều hành riêng
Người ta từng nói Internet sinh ra để kết nối con người, nhưng nhồi tất cả các tính năng hào nhoáng này vào trình duyệt không phải cách tối ưu
Firefox OS về cơ bản gồm một kernel Linux nhỏ, Gecko và HTML5 để render. Giống như iOS và iPadOS, Mozilla cũng có thể cung cấp một hệ điều hành tương tự cho thiết bị hoặc nền tảng
Họ cũng đã đầu tư vào AR và VR trong 5 năm qua, nên sẽ không ngạc nhiên nếu cuối cùng họ lại đặt cược vào một Firefox OS khác
Có phải định link tới repository đã fork không?
https://memorycache.ai/developer-blog/2023/11/30/we-have-a-w... dẫn tới https://github.com/misslivirose/Memory-Cache
Có phải ý định là https://github.com/Mozilla-Ocho/Memory-Cache không?
Chỉ dựa vào link được chia sẻ thì tôi gần như không hiểu đây là gì
Lần ngược thêm một chút về phía trang chính thức thì thấy ghi “MemoryCache là một dự án phát triển thử nghiệm nhằm biến môi trường desktop cục bộ thành AI agent trên thiết bị”
Cũng có bài tháng 11: Introducing Memory Cache
https://memorycache.ai/developer-blog/2023/11/06/introducing...