Marginalia: ghi chép trong 3 năm

 (marginalia.nu)
1 điểm bởi GN⁺ 2024-02-26 | 1 bình luận | Chia sẻ qua WhatsApp
  • Marginalia Search khởi đầu từ một thử nghiệm nhỏ nhằm tìm kiếm “Internet thú vị”, sau 3 năm đã trở thành dự án toàn thời gian, và công cụ tìm kiếm hiện cũng gần đạt trạng thái ổn định nhất từ trước đến nay
  • Công việc trọng tâm trong năm nay là dọn dẹp codebase và đơn giản hóa ứng dụng để giảm gánh nặng vận hành, đồng thời giúp các nhà vận hành và nhà phát triển khác dễ xử lý hơn
  • Trước đây, việc chuyển đổi chỉ mục cần dừng dịch vụ trong vài ngày, nhưng nay thời gian gián đoạn khi chuyển đổi đã biến mất, và gần đây còn có thể nâng cấp không gián đoạn
  • Chất lượng tìm kiếm đã cải thiện sau khi hỗ trợ từ khóa trong anchor text; khi các tín hiệu về độ liên quan ổn định, khả năng tìm ra kết quả của công cụ đã tốt lên rõ rệt
  • Mục tiêu lập chỉ mục 1 tỷ tài liệu vẫn đang được tiếp tục, nhưng khó hơn dự kiến vì tỷ lệ tín hiệu trên nhiễu của web thấp; trọng tâm tiếp theo là cải thiện phân tích cú pháp và thực thi truy vấn

3 năm chuyển từ thử nghiệm thành dự án toàn thời gian

  • Marginalia Search bắt đầu như một thử nghiệm nhỏ 3 năm trước, và hiện đã trở thành dự án được làm toàn thời gian
  • Công cụ tìm kiếm vẫn còn nhiều điểm cần cải thiện, nhưng được đánh giá là đang hoạt động tốt nhất so với mọi trạng thái trước đây
  • Một trong những cột mốc lớn nhất là công cụ tìm kiếm đã rời khỏi phòng khách và chuyển sang máy chủ doanh nghiệp
  • Năm nay tập trung vào việc hạ gánh nặng vận hành xuống mức có thể quản lý, đồng thời dọn dẹp codebase và ứng dụng để các nhà vận hành và nhà phát triển khác dễ tiếp cận hơn
  • Cách vận hành cũng đã thay đổi đáng kể
    • Trước đây, khi chuyển đổi chỉ mục cần dừng dịch vụ trong vài ngày
    • Hiện việc gián đoạn khi chuyển đổi chỉ mục đã không còn
    • Gần đây cũng đã có thể nâng cấp không gián đoạn
    • Nhiều công việc từng là quy trình thủ công kéo dài vài tuần nay đã chuyển thành thao tác bấm nút trong GUI

Chất lượng tìm kiếm và mở rộng chỉ mục

  • Việc hỗ trợ từ khóa trong anchor text có tác động lớn đến độ liên quan của tìm kiếm
    • Ngay sau thay đổi, do tích hợp chưa đủ tốt nên hiệu quả chưa rõ ràng ngay
    • Sau khi tín hiệu liên quan mới ổn định, khả năng tìm kết quả liên quan của công cụ tìm kiếm đã cải thiện mạnh
  • Nhờ sự hỗ trợ của NLnet, dự án đã trở thành công việc toàn thời gian từ khoảng 8 tháng trước
    • Việc không làm việc quá nhiều vẫn là một điều khó
    • Đang cố gắng nghỉ ít nhất 1 ngày mỗi tuần, và cho rằng khi nghỉ ngơi tốt thì có thể làm việc thông minh hơn
  • Mục tiêu 1 tỷ tài liệu được lập chỉ mục vẫn đang tiếp diễn
    • Khó khăn nằm ở chỗ tỷ lệ tín hiệu trên nhiễu của web không tốt, hơn là năng lực xử lý của phần mềm
    • Một trong những lý do lớn khiến công cụ tìm kiếm hoạt động tương đối tốt là ở việc không lập chỉ mục những gì
    • Quy mô chỉ mục đã tăng từ 50 triệu–100 triệu một năm trước lên 220 triệu theo lần crawl gần nhất
    • Khi vòng crawl tiếp theo kết thúc, dựa trên tốc độ tăng trưởng của hai phân vùng đã hoàn tất, có khả năng đạt 290 triệu–300 triệu

Hướng cải thiện tiếp theo và tài trợ

  • Đối tượng cải thiện tiếp theo là phân tích cú pháp và thực thi truy vấn
    • Mảng này còn nhiều dư địa cải thiện
    • Trước khi bắt tay làm chính thức, đang tiến hành công việc chuẩn bị để dọn dẹp phần mã bị ảnh hưởng
  • Những bước nhảy vọt lớn của dự án luôn đến từ các thử nghiệm; dù có công việc đã lên kế hoạch, thứ thực sự tạo ra thay đổi lớn nhiều khả năng lại là những điều không được lên kế hoạch, như anchor text
  • Gửi lời cảm ơn tới NLnet, FUTO, các nhà tài trợ Patreon, những người ủng hộ và người dùng

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-02-26
Ý kiến trên Hacker News

  • Tôi đã đánh dấu trang cái này và dùng để tìm các tài liệu siêu ngách về mô hình hóa số
    Tài liệu mà nó tìm được về solver, tạo mesh, các phương pháp tối ưu hóa tốt hơn nhiều so với những gì có thể tìm thấy trên Google, và cả tài liệu từ thập niên 80–90 cũng hiện ra khá tốt
    Với người không chỉ dùng các gói thương mại có sẵn, việc tìm được loại kiến thức này và các ví dụ mã Fortran là cực kỳ giá trị

    • Không biết có ví dụ nào về các trang chuyên gia ngách mà Marginalia tìm dễ hơn Google không

  • Đúng vậy, nó thực sự rất giống tìm kiếm ngày xưa
    Dù nó không tìm được các truy vấn kiểu “all quiet on the western front book movie differences”, thì hồi AltaVista năm 1998 cũng không tìm được theo kiểu đó
    Thay vào đó, chỉ cần gõ “all quiet on the western front” thì sẽ ra nhiều trang hiếm như blog cá nhân; gõ “polytopes” thì ra bài luận văn đại học và trang mã nguồn; còn “rust generics” cũng ra các thảo luận trên mailing list, blog, nhóm thảo luận Rust, website cá nhân và các trao đổi chuyên sâu
    Đây chính là tìm kiếm web kiểu cũ, và điều tôi tò mò là làm sao để duy trì nó về mặt tài chính trong dài hạn

    • Hiện tại nó được vận hành bằng trợ cấp và quyên góp, nên nhờ vậy còn dư địa cho vài năm nữa
      Chi phí vận hành thực tế chỉ khoảng 100 USD/tháng cho colocation, cộng với chi phí sinh hoạt cá nhân, nên số tiền nhận được kéo dài lâu hơn tưởng tượng
      Về sau, nếu được trau chuốt hơn, có thể sẽ có thêm nguồn tài trợ từ những người cùng chí hướng, hoặc có thể bán quyền truy cập API cho các công cụ tìm kiếm khác
      Tìm kiếm nổi tiếng là khó kiếm tiền ngoài quảng cáo, nhưng nếu chi phí thấp thì đây có vẻ là một con đường khá hợp lý

  • Tôi thử tìm “transformers intuition” và kết quả thật sự ấn tượng
    Google dẫn đến các trang đã SEO, chủ yếu là Medium và những trang trông hào nhoáng nhưng nội dung kém; còn Marginalia tốt hơn nhiều

  • Một thread hồi tưởng cho thấy chỉ 6 tháng sau khi ra mắt, nó đã hoạt động tốt nhưng đồng thời cũng bộc lộ những điểm còn lưng chừng: https://news.ycombinator.com/item?id=28550764
    Tuy vậy, có vẻ bộ lọc mặc định hiện nay hơi có quá nhiều kết quả từ Reddit, Stack Exchange và Wikipedia

  • Phần khiến tôi thấy thấm nhất là điều này
    Việc khó hơn dự kiến không phải vì phần mềm không gánh nổi, mà vì tỷ lệ tín hiệu trên nhiễu của web không tốt; và một lý do lớn khiến công cụ tìm kiếm này hoạt động tương đối tốt nằm ở việc nó không lập chỉ mục những gì

  • Tôi không dùng Marginalia thường xuyên vì đã quen với Google, nhưng bản thân dự án thì rất tuyệt
    Các trang SEO rác và câu trả lời do AI tạo ra dường như ngày càng nhiều, nên có lẽ tôi sẽ dùng nó thường xuyên hơn trong tương lai

    • Có lẽ vẫn cần thêm thời gian trước khi có thể dùng làm công cụ tìm kiếm mặc định hằng ngày
      Lạc quan mà nói, nếu mùa hè này hoàn tất phần công việc liên quan đến truy vấn và thực thi, nó có thể tiến gần tới mức đó

  • Tôi muốn hỏi Viktor rằng liệu Common Crawl [0] có thể hữu ích không
    Hiện nó có quy mô khoảng 100TB và 3,35 tỷ trang, nên nếu không xử lý trực tiếp trên S3 thì tải về sẽ mất nhiều thời gian; còn tỷ lệ tín hiệu trên nhiễu thì tôi không rõ
    [0] https://commoncrawl.org/overview

  • Một công cụ tìm kiếm tuyệt vời
    Tôi cũng định sớm xem qua mã nguồn; khi tìm “ROME2D16-2T” thì nó đưa ra kết quả liên quan từ một nguồn khó hiểu, và khá hữu ích

  • Tôi đã thử 3 truy vấn Google gần đây
    “india test cricket lowest total” không có kết quả hay câu trả lời tốt; “raid calculator” thì kết quả khá ổn nhưng vì từ raid nên cũng lẫn nhiễu như các trang trình chỉnh sửa lưu trữ/cheat của Pokemon
    “all quiet on the western front movie book differences” cho 0 kết quả, tức là một trang hoàn toàn trống

    • Ở giai đoạn hiện tại, công cụ tìm kiếm này không có mục tiêu cung cấp knowledge graph
      Nó là công cụ để tìm tài liệu trên Internet hơn là để trả lời câu hỏi; tính năng trả lời là thứ người dùng có thể muốn, nhưng thường phải đánh đổi bằng khả năng tìm tài liệu
      Kết quả Pokemon là về một ứng dụng tên “raidcalc”, nên với một công cụ tìm kiếm hoàn toàn không lập hồ sơ người dùng và không biết mối quan tâm của họ, đó có vẻ là một kết quả khớp khá tốt
      “all quiet on the western front movie book differences” có vẻ đã chạm giới hạn độ dài truy vấn; đó là di tích cũ từ thời trước khi xử lý truy vấn dài chưa tốt, nên có lẽ có thể gỡ bỏ
      Tôi đã thử tăng giới hạn nhưng kết quả vẫn không tốt lắm, và đây chính xác thuộc phần công việc tiếp theo: hiểu và thực thi truy vấn
      Hiện công cụ tìm kiếm chưa thể hiểu theo kiểu con người rằng all quiet on the western front là một cụm, nếu nằm trong tiêu đề hoặc xuất hiện nhiều lần thì tốt; còn movie, book, differences thì quan trọng trong tài liệu nhưng không nhất thiết phải xuất hiện đúng thứ tự
      Hiện tại nó tìm các tài liệu trong đó mọi từ xuất hiện gần nhau, hoặc các tài liệu mà từng từ riêng lẻ có độ liên quan tf-idf cao, nên không phù hợp với truy vấn này

  • Thú vị thật. Có người đã tìm được một website ngẫu nhiên [0] nơi ai đó chỉ vì vui mà patch binary để thêm hỗ trợ IPv6 cho C&C Tiberian Sun
    Nó vẫn còn đậm cảm giác web cũ đầy hoài niệm
    Kỳ lạ là tôi nhớ đến Searchlores [1] của Fravia; nếu Umberto Eco quan tâm đến máy tính thì có lẽ sẽ có cảm giác như thế này
    Bản thân trang đó cũng giống mê cung thư viện trong The Name of the Rose: rẽ vào bất kỳ góc nào cũng phát hiện điều đáng kinh ngạc, rồi về sau có khi mất dấu nó mãi mãi :D
    [0] http://ts.sesse.net/
    [1] https://www.biostatisticien.eu/www.searchlores.org/indexo.ht...