Search My Site – Công cụ tìm kiếm mã nguồn mở cho website cá nhân và độc lập
(searchmysite.net)- Search My Site là công cụ tìm kiếm để tìm nội dung thực sự trên các website cá nhân, đưa nội dung web độc lập vốn dễ bị chìm trong các công cụ tìm kiếm lớn lên phía trước
- Giới hạn phạm vi lập chỉ mục ở các site do người dùng gửi và đã được rà soát, nên hoạt động khác với chỉ mục toàn web lẫn lộn spam, nội dung phục vụ SEO và clickbait
- Không hiển thị quảng cáo và khuyến khích trang kết quả không có quảng cáo, nhằm giảm các động lực thúc đẩy spam và chủ nghĩa tư bản giám sát
- Mô hình hướng tới trang trải chi phí vận hành bằng tính năng search as a service thay vì quảng cáo, nhằm tránh xung đột giữa nhu cầu của người dùng và lợi ích của nhà quảng cáo
- Đây là dự án mã nguồn mở công khai minh bạch quy trình tìm kiếm, xếp hạng và lập chỉ mục; chú trọng quyền riêng tư vì không dùng mô hình thu thập dữ liệu cá nhân dựa trên quảng cáo
Tìm kiếm tập trung vào website cá nhân
- searchmysite.net là một công cụ tìm kiếm boutique dành cho website cá nhân
- Đối tượng là nội dung web cá nhân và độc lập, còn được gọi là indieweb, small web, digital gardens
- Có thể dùng tìm kiếm công khai khi muốn tìm trải nghiệm cá nhân của mọi người về một chủ đề, sở thích hoặc mối quan tâm cụ thể
- Điểm khác biệt chính là tránh các website marketing và blog spam thường gặp trên các công cụ tìm kiếm lớn
Mô hình vận hành không quảng cáo
- Chỉ mục không bao phủ toàn bộ Internet mà chỉ nhắm tới các site do người dùng gửi và đã được rà soát
- Đây là cách tiếp cận khác với chỉ mục toàn web có lẫn spam, nội dung tối ưu hóa cho công cụ tìm kiếm và clickbait
- Không hiển thị quảng cáo và khuyến khích trang kết quả tìm kiếm không có quảng cáo
- Mục tiêu là loại bỏ các động lực dẫn tới spam và chủ nghĩa tư bản giám sát
- Hướng tới một mô hình bền vững, lấy người dùng làm trung tâm, trong đó chi phí vận hành được trang trải bằng tính năng search as a service, không phải quảng cáo
- Vì cấu trúc này không dựa vào việc thu thập dữ liệu cá nhân để bán cho nhà quảng cáo, nên hướng tới mức độ quyền riêng tư cao đối với một công cụ tìm kiếm
- Có thể xem chi tiết trong Privacy Policy
Mã nguồn mở và sự tham gia của cộng đồng
- Dịch vụ này hoàn toàn mã nguồn mở
- Tăng tính minh bạch của quá trình tìm kiếm, xếp hạng và lập chỉ mục
- Cho phép cộng đồng tham gia nhiều hơn vào việc cải thiện dịch vụ
1 bình luận
Ý kiến trên Hacker News
Wiby cũng đáng được nhắc đến. Đây là một công cụ tìm kiếm muốn tạo ra “một web gồm các trang web từ thời kỳ đầu của Internet”, với tiêu chí lập chỉ mục thiên về HTML đơn giản, ưu tiên site phi thương mại, tối thiểu script/CSS để trang trí, không có quảng cáo xâm nhập che phủ nội dung, và loại trừ các trang kiểu cổng dẫn đến những website cồng kềnh
https://wiby.me
Search My Site thiên về làm nổi bật website cá nhân/độc lập, còn Wiby thiên về làm nổi bật các tài liệu được styling tối thiểu, nên mục tiêu khác nhau
Cũng có Marginalia. Trước đây đã được giới thiệu nhiều lần trên HN
https://marginalia-search.com/
https://news.ycombinator.com/item?id=35611923
https://news.ycombinator.com/item?id=31536626
Các site liên quan khác: https://nownownow.com/, https://omg.lol/, https://indieweb.org/, https://ooh.directory/, https://neocities.org/, https://aboutideasnow.com/, https://indieblog.page/, https://wiby.me/, https://80.style/
Thường thì crawl Internet để tìm trang, và đặt kết quả tại https://github.com/rumca-js/Internet-Places-Database. Các trang cá nhân được gắn thẻ “personal”
Tôi thích sự đơn giản của https://pagefind.app/
Với một công cụ tìm kiếm website cá nhân thì Postgres có vẻ là một database hơi lớn. Dù vậy vẫn phải thử, và chúng ta cần nhiều công cụ như thế này hơn
Về lý thuyết cũng có thể lưu dữ liệu quản lý trong Solr, nhưng dùng kho tài liệu kiểu Solr làm nơi lưu dữ liệu master thường không được khuyến nghị. Có thể dùng thứ nhẹ hơn như SQLite, nhưng đây là công cụ được thiết kế với triển khai trên server trong đầu, và Postgres cũng không tiêu tốn quá nhiều tài nguyên
Thích đấy. Tôi đã mất một tiếng để xem những website cá nhân ngẫu nhiên nhưng được chăm chút đúng kiểu từng làm cho web trở nên tuyệt vời
Khi nó lên HN gần 3 năm trước, nhiều người nhìn ô tìm kiếm và nghĩ đây là một phương án thay thế Google, rồi thất vọng khi biết không phải vậy. Giờ đây, hơn bao giờ hết, có vẻ việc tìm nội dung web do con người tạo ra chứ không phải AI đã trở nên hữu ích
https://news.ycombinator.com/item?id=31395231
Những dự án như thế này thật sự rất tốt để tìm các blog thú vị và những site ít người biết. Công cụ tôi dùng chủ yếu là Marginalia Search
https://marginalia-search.com/
Trông hay đấy. Nghĩ đến việc Google đã thống trị suốt 10 năm qua, tôi có cảm giác mạnh mẽ rằng, thật trớ trêu, một trong những người thắng lớn trong lĩnh vực AI sẽ là công cụ tìm kiếm backend
Tìm kiếm web hiện đại đã bị làm ô nhiễm quá nhiều bởi đủ loại kỹ thuật để lọt vào trang đầu Google, và phần lớn nội dung tốt bị chôn vùi. Giờ các mô hình lớn có thể gọi web, sự phình to này cũng đang xuất hiện trong tìm kiếm AI. Chúng ta cần một engine đúng nghĩa, đặt dữ liệu lên trước, không quảng cáo, tập trung nhiều hơn vào dữ liệu có cấu trúc thay vì trình bày
Khi xem qua dự án, bài blog này là phần có nhiều insight nhất về chi tiết kỹ thuật của công cụ tìm kiếm
https://blog.searchmysite.net/posts/searchmysite.net-buildin...
Tôi hơi bối rối. Solr là công cụ tìm kiếm, nhưng cũng có tải mô hình LLM. Tôi tò mò mô hình LLM bổ sung gì cho giải pháp này
Để chịu được chi phí, tôi đã thử bằng một LLM nhỏ tự host, nhưng kết quả chưa đủ tốt để triển khai toàn bộ tính năng, nên LLM đã bị vô hiệu hóa, và có lẽ nhiều khả năng sẽ bị gỡ bỏ hoàn toàn