Marginalia, công cụ tìm kiếm ưu tiên nội dung phi thương mại

 (marginalia-search.com)
4 điểm bởi GN⁺ 2025-01-28 | 1 bình luận | Chia sẻ qua WhatsApp
  • Marginalia Search là công cụ tìm kiếm tập trung vào việc khám phá phần web ít được tối ưu hóa cho mục đích thương mại, đồng thời tìm lại các website cũ đã bị lãng quên
  • Ngoài tìm kiếm, công cụ này còn cung cấp các lộ trình để duyệt và khám phá website; phiên bản trước vẫn tiếp tục dùng được tại old-search.marginalia.nu
  • Dự án được công bố dưới dạng mã nguồn mở, nổi bật với bộ chỉ mục và crawler riêng cùng cấu trúc công nghệ đơn giản không dùng AI
  • Mã nguồn được phát hành theo giấy phép AGPL; có thể truy cập tài liệu dự án và cộng đồng qua kho Git và Project Discord
  • Tuân thủ GDPR theo cách không thu thập thông tin cá nhân, đồng thời vận hành với việc sử dụng cookie và lưu giữ log IP ở mức hạn chế

Công cụ tìm kiếm tập trung vào khám phá web phi thương mại

  • Marginalia Search là công cụ tìm kiếm ưu tiên nội dung phi thương mại
  • Nhấn mạnh khả năng tìm các website cũ đã bị lãng quên, đồng thời cung cấp công cụ cho việc tìm kiếm và khám phá
  • Phiên bản trước vẫn có thể sử dụng tại old-search.marginalia.nu

Dự án mã nguồn mở và các kênh vận hành

  • Dự án được công bố dưới dạng mã nguồn mở
    • Sử dụng bộ chỉ mục và phần mềm crawler riêng
    • Nêu bật cấu trúc công nghệ đơn giản không sử dụng AI
    • Giấy phép là AGPL
  • Các liên kết liên quan

Chính sách bảo vệ quyền riêng tư và log

  • Về cơ bản, hướng đến bảo vệ quyền riêng tư
    • Lọc bỏ theo dõi
    • Không chia sẻ dữ liệu với bên thứ ba
    • Không lưu giữ IP dài hạn
  • Website tuân thủ GDPR theo cách không thu thập thông tin cá nhân
  • Cookie không được sử dụng cho mục đích nào ngoài việc cung cấp chức năng dịch vụ, qua đó tuân thủ EU Cookie Directive
  • Log truy cập có chứa địa chỉ IP được lưu giữ tối đa 24 giờ
  • Log đã được ẩn danh sau khi loại bỏ địa chỉ nguồn có thể được lưu lâu hơn để hỗ trợ chẩn đoán lỗi
  • Liên hệ tại contact@marginalia-search.com
  • Thông tin vị trí IP sử dụng dữ liệu IP2Location LITE, theo giấy phép CC-BY-SA 4.0

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-01-28
Ý kiến trên Hacker News

  • Gần đây tôi đã viết một bài luận về công cụ tìm kiếm này và thuật toán xếp hạng của nó
    Marginalia thời kỳ đầu dùng Personalized PageRank, một biến thể thú vị của PageRank được đề cập trong bài báo gốc, và tôi đoán hiện nay thứ hạng trang được chấm bằng BM25
    Có vẻ Personalized PageRank vẫn đang được dùng cho tính năng mới của Marginalia là xếp hạng trang dựa trên độ tương đồng, và dường như đã được tích hợp vào site, dù trước đây chỉ có trang thử nghiệm (https://explore2.marginalia.nu/)
    Dù sao thì tôi rất ngưỡng mộ người tạo ra nó, và thấy rất thú vị khi đọc về quá trình Marginalia phát triển mạnh lên cùng các bài blog (https://www.marginalia.nu/log/)
    Bài liên quan: https://www.marginalia.nu/log/26-personalized-pagerank/

    • Xếp hạng miền có dùng Personalized PageRank, nhưng đây là một yếu tố có ảnh hưởng rất nhỏ
      Chủ yếu nó tác động đến thứ tự vật lý của kết quả trong chỉ mục, và vì thời gian thực thi truy vấn bị giới hạn nên nó chỉ giúp các kết quả xếp hạng cao được phát hiện trước
      Explore2 và công cụ khám phá website tích hợp trong công cụ tìm kiếm sử dụng độ tương đồng cosine của vector liên kết đến
      Tôi cũng đã viết một bài về kỹ thuật này, tên là “Creepy Website Similarity” :-) https://www.marginalia.nu/log/69-creepy-website-similarity/
    • Bài luận gần đây ở đâu vậy?

  • Tôi là người tạo ra nó. Gần đây tôi đã chuyển website từ search.marginalia.nu sang marginalia-search.com, đồng thời cũng chỉnh lại giao diện một chút
    Vì tôi cảm thấy nó hoạt động quá tốt để cứ đặt nó như một subdomain kỳ quặc của blog cá nhân
    Bản thân công cụ tìm kiếm thì vẫn vậy :-)

    • Dạo này trong các cộng đồng web nhỏ có chút lo ngại về việc crawl quá mạnh tay từ OpenAI và các bên tương tự
      Marginalia recrawl các site đã được lập chỉ mục với tần suất như thế nào?
    • Có vẻ phiên bản cũ của nút random không còn hoạt động nữa. Bạn đã bỏ tính năng đó rồi à?
    • Có lý do gì khiến bạn không dùng một tên miền ngắn hơn không? Những gì bạn làm thật sự rất ấn tượng

  • Nói cho những ai chưa theo dõi dự án này liên tục thì đây là một dự án đam mê của một người, không phải với mục tiêu cạnh tranh với Google/Bing/DDG
    Nó gần với một cách để tìm những thứ thú vị trên “web nhỏ” hơn
    Nên hãy ghi nhớ điều đó khi dùng thử
    Nhân tiện, tôi không phải người tạo ra nó

    • Tôi không biết từ đó đến nay có gì thay đổi không, nhưng vào năm 2023 người tạo ra nó đã nghỉ việc để phát triển công cụ tìm kiếm toàn thời gian https://www.marginalia.nu/log/83_full_time/
      Đúng là một dự án đam mê, nhưng không chỉ đơn thuần là dự án phụ
    • Đúng vậy. Tuy nhiên trong một số ngách cụ thể, ví dụ như Linux và phần mềm mã nguồn mở, hoặc lịch sử, Marginalia thường cho kết quả tốt hơn Google hay DDG rất nhiều
      Có vẻ các công cụ tìm kiếm phổ thông có một bước làm ngu đầu vào, nên khi bạn gõ một truy vấn lạ, chúng xem đó là lỗi chính tả hoặc điều gì đó bạn nhớ sai rồi đổi thành một cụm khác mà bạn không hề tìm, trước khi gửi xuống backend
      Ngoài ra, các công cụ tìm kiếm phổ thông dường như cố ưu tiên truyền thông doanh nghiệp hơn là nội dung gốc và có tính thẩm quyền
      Người tạo ra nó luôn nói là “để tìm thứ thú vị trên web nhỏ”, nhưng với tôi nó không chỉ thú vị mà còn thực sự hữu ích
      Dù vậy, từ khi tôi chuyển sang Kagi gần 3 năm trước, tôi không còn cần duy trì những cách lách như công cụ tìm kiếm riêng theo chủ đề nữa
      Nói cho đầy đủ, người khác thường phản bác rằng kết quả Google tốt hoặc kết quả Kagi tệ, nhưng với riêng tôi, Google đã có lịch sử hơn 10 năm liên tục thất bại ngay cả với các truy vấn đơn giản; nếu Google hợp với bạn thì tốt thôi, nhưng với tôi nó đã không hoạt động ổn định suốt hơn 10 năm nên tôi phát chán rồi

  • Tôi không có gì đặc biệt mới để bổ sung, nhưng lần nào dự án này lên HN tôi cũng thấy vui
    Đây là một dự án cho thấy rất rõ rằng với sự kiên nhẫn và tâm huyết, người ta có thể tạo ra điều gì

    • Tôi từng nghĩ rằng một ngày nào đó mình muốn làm thứ gì đó tương tự, nhưng cái này vượt quá mong đợi. Làm rất tốt, và nếu có cách nào để đóng góp thì mong được biết

  • Tôi ngạc nhiên là hiện giờ DDG dường như chưa có bang search cho Marginalia
    <https://duckduckgo.com/bangs?q=marginalia>
    Tôi đã gửi đề xuất rồi

  • Tôi thử tìm lại vài thứ gần đây đã tìm trên Google, như “celery”, “Wardian case”, “ferry from Italy to Greece”, và kết quả đầu tiên của cả ba đều khá hợp lý
    Chắc tôi sẽ thử dùng xem sao

  • Đây là thứ dễ chịu, hữu ích và lành mạnh nhất mà tôi thấy trên web trong một thời gian dài
    Về mặt kỹ thuật cũng có vẻ rất vững, và trải nghiệm sử dụng thì gần như không có gì để chê
    Thật sự cảm ơn vì đã đưa tôi quay lại những ngày huy hoàng của Internet

  • Tôi đã thử vài truy vấn tương đối đơn giản trong lĩnh vực mình quan tâm, như “attention is all you need paper”, “sip rfc”, “klatt speech synthesizer”, “crafting interpreters book”, “Scott Alexander Substack”, nhưng thực tế lại không ra đúng các kết quả tôi mong đợi
    Marginalia có vẻ tạm ổn khi bạn muốn học về điều gì đó, nhưng không phù hợp khi bạn muốn tìm một đối tượng cụ thể
    Nếu bạn muốn đọc xem mọi người nghĩ gì về Substack của Scott Alexander thì kết quả khá ổn, nhưng nếu muốn tìm chính bản tin đó thì lại không như vậy

    • Đúng, truy vấn mang tính khám phá lúc được lúc không
      Tôi cảm thấy Google đã làm phần đó rất tốt rồi nên đây không phải ưu tiên lớn
      Tôi chủ yếu tập trung công sức vào những thứ Google làm không tốt, tức là tìm nội dung do con người tạo ra về một chủ đề nào đó

  • Từ góc độ người vận hành website, việc công khai các backlink mà họ phát hiện được là điểm đặc biệt hay
    Nhờ dịch vụ này mà tôi đã phát hiện ra vài backlink trước đây không hề biết tới

    • Tôi đã xem backlink của website mình, nhưng khá bối rối vì chẳng có cái nào thực sự liên kết đến site của tôi cả

  • Hồi còn dùng tên miền cũ marginalia.nu thì đã được bàn luận khá nhiều rồi
    Phrase matching in Marginalia Search - https://news.ycombinator.com/item?id=41696046 - tháng 9 năm 2024, 24 bình luận
    Marginalia: 3 Years - https://news.ycombinator.com/item?id=39501061 - tháng 2 năm 2024, 44 bình luận
    Interview with Viktor Lofgren from Marginalia Search - https://news.ycombinator.com/item?id=38470832 - tháng 11 năm 2023, 21 bình luận
    Moving Marginalia to a new server - https://news.ycombinator.com/item?id=37800753 - tháng 10 năm 2023, 39 bình luận
    Marginalia.nu API - https://news.ycombinator.com/item?id=35871186 - tháng 5 năm 2023, 22 bình luận
    Marginalia: DIY search engine that focuses on non-commercial content - https://news.ycombinator.com/item?id=35611923 - tháng 4 năm 2023, 193 bình luận
    Marginalia Search has received an NLNet grant - https://news.ycombinator.com/item?id=34945541 - tháng 2 năm 2023, 17 bình luận
    A Theoretical Justification (2021) - https://news.ycombinator.com/item?id=32586273 - tháng 8 năm 2022, 22 bình luận
    The Evolution of Marginalia's Crawling - https://news.ycombinator.com/item?id=32565052 - tháng 8 năm 2022, 22 bình luận
    Marginalia Goes Open Source - https://news.ycombinator.com/item?id=31536626 - tháng 5 năm 2022, 72 bình luận
    Uncertain Future for Marginalia Search - https://news.ycombinator.com/item?id=31200319 - tháng 4 năm 2022, 37 bình luận
    Marginalia Search: 1 Year - https://news.ycombinator.com/item?id=30823481 - tháng 3 năm 2022, 29 bình luận
    Show HN: Marginalia – Exploration Mode - https://news.ycombinator.com/item?id=30047455 - tháng 1 năm 2022, 53 bình luận
    A search engine that favors text-heavy sites and punishes modern web design - https://news.ycombinator.com/item?id=28550764 - tháng 9 năm 2021, 717 bình luận
    https://news.ycombinator.com/user?id=marginalia_nu

    • Rất hay. Bài đầu tiên là do tôi đăng
      Tôi thích dự án này và muốn thử làm một dự án tương tự trong tương lai gần