Kagi Small Web

 (blog.kagi.com)
3 điểm bởi GN⁺ 2023-09-08 | 1 bình luận | Chia sẻ qua WhatsApp
  • Kagi tích hợp Small Web vào tìm kiếm, website, RSS và API để đưa nội dung web cá nhân vốn bị quảng cáo và thương mại hóa che lấp trở lại
  • Small Web chỉ phần web phi thương mại do cá nhân tạo ra nhằm thể hiện bản thân và chia sẻ tri thức hơn là lợi ích tiền bạc; Kagi tuyển chọn khoảng 6.000 website và thu thập nội dung mới
  • Tìm kiếm Kagi sử dụng các chỉ mục Teclis và TinyGem để hiển thị cả bài viết blog cá nhân ngay cả với các từ khóa phổ thông như swiftui, apple watch
  • Website Kagi Small Web mới hoạt động không cần JavaScript, cho phép người dùng để lại “appreciate” trên bài viết hoặc viết ghi chú công khai sẽ biến mất sau khoảng 1 tuần
  • Chủ site có thể tham gia thông qua danh sách tuyển chọn trên GitHub, website phản hồi và Discord; RSS được cập nhật mỗi 5 giờ, còn API được cung cấp với giá 2 USD cho mỗi 1.000 truy vấn

Web mà Kagi Small Web hướng tới

  • Kagi Small Web là sáng kiến Kagi khởi động nhằm tạo ra một web nhân văn hơn
  • “Small Web” không phải là một thuật ngữ có định nghĩa duy nhất, nhưng thường chỉ web phi thương mại được tạo ra để cá nhân thể hiện bản thân hoặc chia sẻ tri thức hơn là vì lợi ích tiền bạc
  • Khái niệm này gắn với bầu không khí của web thời kỳ đầu, khi mức độ thương mại hóa còn thấp hơn trước khi các mô hình kinh doanh dựa trên quảng cáo thống trị Internet
  • Tài liệu được giới thiệu để hiểu sâu hơn là The Small Web is Beautiful của Ben Hoyt, và kho GitHub cũng liên kết đến danh sách các bài viết liên quan

Cách thu thập và hiển thị nội dung

  • Kagi Small Web tập hợp các bài viết được đăng trong vòng 1 tuần gần đây từ danh sách blog được tuyển chọn trực tiếp và hiển thị qua nhiều kênh
  • Thành viên Kagi hiện tại không cần thiết lập riêng để thấy nội dung Small Web trong kết quả tìm kiếm
  • Thử nghiệm này lấy cảm hứng từ một cuộc thảo luận trên Hacker News, bắt đầu vào cuối tháng 7 bằng cách hiển thị các bài blog của người dùng HN trong kết quả tìm kiếm
  • Danh sách tuyển chọn hiện bao gồm khoảng 6.000 website thực do những người có nhiều mối quan tâm khác nhau vận hành
  • Toàn bộ sáng kiến và danh sách website được tuyển chọn được công khai trên Kagi GitHub

Web cá nhân đi vào kết quả tìm kiếm

  • Kagi từ trước đã hiển thị nội dung Small Web thông qua các chỉ mục tìm kiếm Teclis và TinyGem của riêng mình
  • Với lần tích hợp này, nội dung web chất lượng cao nhưng ít được biết đến được thể hiện trực tiếp hơn như một điểm khác biệt của kết quả tìm kiếm Kagi
  • Ví dụ tìm kiếm
  • Khác với kết quả tìm kiếm tập trung vào các site lớn, những kết quả này giúp khám phá các góc nhìn đa dạng hơn ngay cả trong cùng một chủ đề

Website Kagi Small Web

  • Website Kagi Small Web là nền tảng mới nhằm làm nổi bật nội dung Small Web mới nhất vốn dễ bị bỏ qua trên các công cụ tìm kiếm truyền thống
  • Website hoạt động không cần JavaScript, đúng với tinh thần của Small Web
  • Người dùng có thể “appreciate” bài viết hoặc để lại ghi chú công khai tạm thời
    • Ghi chú sẽ biến mất sau khoảng 1 tuần khi nội dung mới được luân chuyển
    • Thiết kế này nhấn mạnh tính nhất thời và chưa hoàn hảo của Small Web
  • Khi được mở trước cho một số beta tester trên kênh Discord, một người dùng sau khi thấy blog của mình được đưa vào feed tuyển chọn đã muốn viết thêm bài

Tiêu chí tuyển chọn và điều kiện hiển thị bài viết

  • Để được đưa vào feed tuyển chọn, cần đáp ứng các tiêu chí sau
    • Blog phải có bài đăng từ ít nhất 3 năm trước
    • Nội dung phải bằng tiếng Anh
    • Site phải cung cấp sự thể hiện bản thân chân thực hoặc giá trị thông tin cao
    • Nội dung NSFW bị loại trừ
  • Để bài viết xuất hiện trên website Kagi Small Web, có thêm các điều kiện
    • Bài viết phải được viết trong vòng 7 ngày
    • Site phải tương thích với nhúng iframe
    • Các site không tương thích với iframe vẫn có thể tiếp tục được lập chỉ mục cho kết quả tìm kiếm
  • Mã nguồn website cũng được công khai dưới dạng mã nguồn mở, và dự án nhận các yêu cầu hợp nhất

Thử nghiệm Small YouTube

  • Kagi cũng cung cấp tính năng thử nghiệm Small YouTube
  • Tính năng này hiển thị nội dung từ các nhà sáng tạo YouTube đang nổi có dưới 400.000 người đăng ký
  • Kagi đang thu thập phản hồi về tiêu chí này

RSS, API và kênh tham gia

  • Nguồn RSS của Kagi Small Web cung cấp cập nhật theo thời gian thực và được làm mới mỗi 5 giờ
  • Người dùng API có thể tiếp cận tin tức chất lượng cao ngoài dòng chính thông qua chỉ mục TinyGem đã tích hợp Kagi Small Web
    • Giá là 2 USD cho mỗi 1.000 truy vấn
  • Nếu có site bị bỏ sót hoặc trường hợp được đưa vào không phù hợp, người dùng có thể đóng góp cho danh sách tuyển chọn theo hướng dẫn
  • Báo lỗi và đề xuất tính năng được gửi trên kagifeedback.org với thẻ small-web
  • Thảo luận chung diễn ra trên Kagi Discord

Những tiền đề mà dự án chấp nhận

  • Nếu web được tạo nên bởi vô số con người, câu hỏi vì sao họ bị che khuất trong các công cụ tìm kiếm truyền thống và làm thế nào để khắc phục điều đó là điểm xuất phát của sáng kiến này
  • Nội dung được crawl có thể bao gồm bất cứ thứ gì, nên Kagi cho rằng quá trình đề xuất chúng đòi hỏi một lựa chọn đặt uy tín của mình vào đó
  • Những người đóng góp cho Small Web sáng tạo bằng thời gian và công sức của mình ngay cả khi không được bảo đảm có độc giả
  • Mục tiêu của Kagi là khôi phục một web nhân văn hơn, nơi có nhiều sáng tạo, sự thể hiện bản thân và nội dung có ý nghĩa

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-09-08
Các ý kiến trên Hacker News

  • Tôi là Vlad của Kagi. Ngay khi công bố bài blog, RSS feed bất ngờ bị hỏng, cảm giác đúng tinh thần small web thật :) Giờ feed đã được khôi phục, và vì trang cũng dùng cùng feed đó nên đã hoạt động trở lại
    Đây là một dự án cá nhân mà tôi rất tâm huyết, còn đội ngũ thì bận việc khác nên tôi đã trực tiếp nhúng tay khá sâu vào code. Nói “feed bị hỏng” thực ra có nghĩa là tôi đã làm hỏng nó. Với một lập trình viên kiểu cũ, phần mềm là công việc lộn xộn, và trong lúc liên tục quay lại sửa những thứ mình từng nghĩ đã ổn, tôi cũng học được rằng mình không còn là một coder giỏi nữa. Có thể xem code trong repository được liên kết tại đây: https://github.com/kagisearch/smallweb
    Quan trọng nhất là trang này đã thay thế cho nhu cầu khám phá của tôi, và tôi thích cảm giác được biết thêm nhiều người và bài viết khác nhau. Rất nhiều thứ bất ngờ hiện ra, và tôi có cảm giác web lại trở nên gần gũi hơn. Khái niệm này có một tia hy vọng, và việc cải thiện chất lượng cũng như sự đa dạng của tìm kiếm là có thật
    Có thể xem danh sách các website được đưa vào tại đây: https://github.com/kagisearch/smallweb/blob/main/smallyt.txt
    Các bài viết mới nhất cũng đã xuất hiện trong kết quả tìm kiếm Kagi cho những truy vấn liên quan: https://kagi.com/smallweb

    • Thật sự vui khi tính năng này được ra mắt. Việc giúp web indie/quy mô nhỏ được nhìn thấy nhiều hơn là một điều tuyệt vời. Trước đây tôi cũng từng phàn nàn trên HN rằng các blog cá nhân hữu ích bị chôn vùi dưới nội dung spam trong công cụ tìm kiếm
      Trong tương lai, tôi hy vọng có thể tìm kiếm chỉ trong small web, và có lẽ sau này nó cũng có thể được cung cấp dưới dạng lens
      Về quy định tự quảng bá, tôi không đồng ý với chính sách hiện tại. Nếu là blog lâu năm, dù hạ tiêu chí xuống khoảng 1 năm, tôi vẫn mong mọi người có thể tự gửi lên. Phần lớn web quy mô nhỏ/indie đều thiếu độ phủ, nên điều đó sẽ có ích. Blog của tôi có vẻ đã được thu thập từ bài “hãy chia sẻ blog của bạn trên HN” trước đây nên đã có trong chỉ mục, nhưng những người khác có thể không may mắn như vậy
    • Càng dùng Kagi trả phí, tôi càng thấy buồn trước khả năng nó có thể biến mất nếu không có thêm nhiều người dùng
      Với tôi, Kagi là một thành tựu cực lớn. Đây là công cụ tìm kiếm đầu tiên cho kết quả tốt hơn Google, tôn trọng quyền riêng tư, cung cấp cá nhân hóa và nhiều tính năng hơn
    • Tôi là khách hàng trả phí, và đây lại là một bổ sung hay nữa. Những thứ như thế này chỉ Kagi mới làm được. Hy vọng họ tiếp tục làm các công việc kiểu này
    • Chẳng phải khả năng cao là cái này được lấy cảm hứng từ Marginalia hơn là từ thread blog cá nhân sao? Trong ví dụ Apple Watch thì kết quả không giống nhau, nhưng vừa đọc tiêu đề bài viết là tôi nghĩ ngay đến nó
      Đó là https://search.marginalia.nu, và cũng thường được nhắc đến trên HN: https://hn.algolia.com/?query=marginalia
    • Một thử nghiệm hay. Kết quả trông cũng rất tuyệt, và nếu được tích hợp vào kết quả tìm kiếm chính thì có vẻ sẽ cho ta nhìn thoáng qua bên ngoài web khổng lồ
      Tôi là khách hàng của Kagi và đang rất hài lòng. Công cụ tìm kiếm này tốt đến đáng ngạc nhiên, và tính năng này càng khiến tôi thích lựa chọn công cụ tìm kiếm của mình hơn

  • Câu “Những ghi chú này sẽ được thay thế bằng nội dung mới sau khoảng một tuần và biến mất. Điều này nhấn mạnh tính phù du và không hoàn hảo của small web.” thì chỉ cần thừa nhận rằng Kagi không muốn điều chỉnh hoặc lưu trữ vĩnh viễn các ghi chú là được. Không cần hạ thấp small web. Nhiều site nhỏ bảo tồn nội dung rất tốt
    Kagi có thể có dữ liệu về việc các site thường xuyên ngừng hoạt động đến mức nào, nhưng theo kinh nghiệm của tôi, nội dung trên các nền tảng lớn cũng thường biến mất, kể cả khi không phải do người tạo quên mất. Các website small web do những người sáng tạo thật sự quan tâm làm ra thậm chí có khả năng tồn tại lâu hơn nhiều

    • Những ghi chú đó được hiển thị ở đâu?
      Nếu Kagi Small Web có giao diện ActivityPub để có thể thêm các site được đánh giá cao nhất trong ngày vào timeline Mastodon hoặc Lemmy thì hay biết mấy
    • Một câu thú vị. Hầu hết các trang cá nhân thật sự rất cố gắng để các liên kết 10 năm, 20 năm tuổi không bị hỏng :P

  • Kagi hoàn toàn xứng đáng với số tiền bỏ ra. Tôi đã dùng nó làm công cụ tìm kiếm chính trong 6 tháng, và trong thời gian đó chắc chỉ dùng Google !g khoảng 10 lần

    • Chỉ riêng việc có thể chặn các trang rác SEO như GeeksForGeeks, và 3–5 kết quả đầu không bị lấp đầy bởi quảng cáo, đã đủ đáng tiền rồi. Khả năng nâng thứ hạng kết quả từ một số trang cụ thể ở mức cá nhân hóa cũng rất hay
      Tuy nhiên tôi dùng tìm kiếm khá nhiều, và cũng hay tìm nhầm, nên hơi tiếc là mỗi tháng thường vượt mức tìm kiếm của gói “Pro”. Dù vậy, may là vẫn có lựa chọn mua thêm lượt tìm kiếm thay vì phải nâng lên gói không giới hạn khá đắt
    • Sau khi quen với Kagi, dùng Google Search trên máy người khác cảm giác thật sự rất lạ. Gần đây tôi yêu cầu một cải tiến nhỏ về khả dụng, và nó được triển khai trong vòng vài tuần. Với các công cụ tìm kiếm khác thì chuyện đó hoàn toàn không có khả năng xảy ra
      Kết quả tìm kiếm luôn tốt hơn những nơi khác, kể cả DuckDuckGo, nên tôi sẽ tiếp tục là khách hàng trả phí hài lòng
    • Đồng ý. Tôi đã trả phí và hài lòng dùng hơn một năm một chút, trước đó còn dùng bản beta
      Cảm giác hơi giống lần đầu phát hiện ra Google vào thời AltaVista còn tồn tại
    • Tôi cũng là một người dùng khác rất hài lòng với Kagi. Nó hoàn toàn đáng để trả tiền, và là một ví dụ hay cho thấy có thể có loại dịch vụ nào khi người dùng sẵn sàng trả một khoản phí nhỏ
    • Bổ sung một góc nhìn kém tích cực hơn: tôi đã thử Kagi vài tuần, thích tính năng và mô hình kinh doanh, nhưng kết quả tìm kiếm không tốt hơn instance Searx của tôi. Về cơ bản, Kagi gọi API ẩn danh tới các công cụ tìm kiếm bên thứ ba giống Searx, chỉ là được bọc trong một UI thân thiện hơn, và trải nghiệm cũng không khác biệt nhiều
      Hơn nữa, Searx hỗ trợ nhiều công cụ tìm kiếm hơn hẳn, và tôi có thể tùy chỉnh chính xác theo ý mình
      Rõ ràng Kagi có ý định tốt và sản phẩm tốt, nên tôi mong họ thành công, nhưng tôi vẫn thích một giải pháp mã nguồn mở tự host tương đương, dù kém trau chuốt và ít tính năng hơn, hơn là một SaaS độc quyền phải tạo tài khoản
      Sửa: thật ra tôi đã nhầm. Kagi cũng có crawler và chỉ mục riêng: https://help.kagi.com/kagi/search-details/search-sources.html Dù vậy tôi cũng không thấy kết quả Searx thiếu thốn, nên không bỏ lỡ gì nhiều
      Điều tôi lo ngại ở Searx, và một phần ở Kagi, là các bên thứ ba có thể chặn các yêu cầu API kiểu này bất cứ lúc nào; khi đó Searx sẽ không dùng được, còn kết quả của Kagi cũng có thể kém liên quan hơn. Tôi không biết cách này có bền vững để xây dựng một công cụ tìm kiếm hay không, nhưng tôi đánh giá cao thái độ của Kagi và Searx đối với quảng cáo. Dùng các công cụ tìm kiếm chính thống qua một frontend riêng, nhìn thế nào cũng là một trải nghiệm bực bội

  • Chính những thứ như thế này khiến tôi thật sự vui vì mình là người đăng ký Kagi. Tôi không chỉ nhận được giá trị từ Kagi, mà còn thấy tiền mình trả được dùng để phát triển Kagi theo hướng tôi đồng tình
    Để so sánh, Spotify chỉ là một trong những dịch vụ đăng ký tôi dùng, nhưng lại tạo cảm giác đối nghịch với người dùng. Tôi vẫn trả tiền, nhưng nếu cảm thấy có lựa chọn thay thế, tôi sẽ hủy ngay
    Tôi thật sự đánh giá cao việc thứ tôi cảm thấy mình đang mua khớp với hướng phát triển của Kagi

    • Streaming nhạc đúng là một mớ hỗn độn. Tôi đã thử rất nhiều để tìm một dịch vụ ổn, nhưng dịch vụ nào cũng có vấn đề đáng xấu hổ
      Spotify thật sự đối nghịch với người dùng, mang tính thao túng, và tệ hại với nghệ sĩ. Với tôi, màn hình chính quá thương mại hóa, còn giao diện CarPlay thì nói thật là một thảm họa đối nghịch với người dùng đến mức không an toàn
      TIDAL khá tốt ở nhiều mặt. Họ cũng trả tiền tốt cho nghệ sĩ và gợi ý cũng ổn. Nhưng ứng dụng có vài lỗi ngớ ngẩn tồn tại suốt nhiều năm; lỗi khó chịu nhất là khi xáo trộn playlist, giao diện chỉ trộn khoảng hơn chục bài đã cache trước ở phía trên. Nếu cố xáo trộn toàn bộ thư viện, bạn sẽ cứ nghe đi nghe lại đúng hơn chục bài đó
      Tôi đã muốn thích Deezer, nhưng ứng dụng không tốt lắm, và số bài bị thiếu cũng nhiều hơn tôi tưởng
      Cuối cùng tôi dừng ở Apple Music. Vì dùng iPhone nên nó hợp một cách tự nhiên, và giao diện CarPlay cũng rất tốt. Mức trả cho nghệ sĩ cũng gần bằng TIDAL. Gợi ý đủ tốt, và màn hình chính cũng không có cảm giác chỉ liên tục đẩy những thứ mà các hãng thu âm lớn đã trả tiền quảng bá. Ứng dụng Windows thì tệ hại, và không có ứng dụng Linux, nhưng may là có Cider, một ứng dụng mã nguồn mở khá tuyệt, giải quyết được vấn đề đó

  • Có vẻ như các bạn đang loại bỏ MathML khỏi RSS feed; đây là chủ ý, hay là do đang dùng một công cụ dọn dẹp cũ không nhận diện được nó? Ví dụ, bài mới nhất https://www.jefftk.com/p/weekly-incidence-vs-cumulative-infections trong RSS feed của tôi https://www.jefftk.com/news.rss có đoạn sau
    <math display="block">
    <msup><mi>e</mi>
    <mrow><mi>k</mi><mi>t</mi></mrow></msup>
    </math>
    Nhưng trong RSS feed của Kagi https://kagi.com/api/v1/smallweb/feed thì nó hiện thành e và kt
    Sửa: tôi đã tạo issue: https://github.com/kagisearch/smallweb/issues/10

  • Có vài câu hỏi
    Thứ nhất, tôi tò mò cơ sở nào để ưu tiên các blog được cập nhật gần đây. Theo kinh nghiệm của tôi, các bản cập nhật gần đây thường là kết quả tìm kiếm yếu nhất, dễ bị ảnh hưởng hơn bởi thay đổi hoặc liên kết hỏng, và nhìn chung chất lượng thấp hơn. Tôi cũng tự hỏi liệu việc đẩy nội dung mới có tạo động lực để người ta sản xuất hàng loạt bài viết chất lượng thấp nhằm tăng xác suất lọt vào danh sách hay không
    Thứ hai, khi đụng một chút đến mảng này thì nó luôn nghiêng về blog công nghệ/lập trình viên đến mức gần như vô lý. Đúng là nhóm có blog và nhóm có mối quan tâm của lập trình viên chồng lấn mạnh, nhưng nếu các mối quan tâm khác được đại diện tốt hơn thì có lẽ nó cũng sẽ hấp dẫn hơn với các nhóm khác. Tôi tò mò liệu các bạn đã nghĩ đến điểm này chưa, và nếu có thì các bạn nghĩ có thể làm gì

    • Viktor, chào bạn!
      Với câu thứ nhất có vài yếu tố. Với cùng một truy vấn tìm kiếm, nội dung mới hơn thường liên quan hơn, và ít nhất độ mới giúp tránh việc nó trở nên hoàn toàn không liên quan. Điều công cụ tìm kiếm cần tránh nhất là kết quả hoàn toàn không liên quan. Chất lượng phần nào đã được bảo đảm ngay từ đầu vì đây là một danh sách được tuyển chọn
      Vì dựa vào công nghệ RSS feed nên việc thu thập và duy trì danh sách tương đối dễ, và cũng có nhiều nguồn để dùng làm dữ liệu ban đầu
      Việc tập trung vào bài viết gần đây có thể khuyến khích một số người viết nhiều hơn, như ví dụ được nhấn mạnh trong bài blog. Web nói chung cần thêm nội dung phi thương mại chất lượng cao, và rốt cuộc đó cũng là phần chúng tôi muốn đóng góp. Nếu cung cấp một nền tảng, dù rất nhỏ, để khuyến khích hành vi như vậy, chúng ta sẽ tiến thêm một bước đến web mà chúng ta yêu thích
      Về câu thứ hai thì nhìn chung tôi đồng ý. Tuy vậy, cho lần thử này chúng tôi đã cố gắng tạo một tập website đa dạng, và chẳng hạn cũng thấy khá nhiều trang về kinh tế hoặc nhiếp ảnh. Cuối cùng, thông qua các nền tảng như Kagi hay Marginalia, chúng ta chỉ có thể khuyến khích nhiều nội dung hơn được tạo ra ở nhiều lĩnh vực khác nhau và hy vọng mọi thứ diễn ra tốt đẹp

  • Thật tuyệt! Trong 2 tháng qua, cá nhân tôi đã có một hành trình khám phá các liên kết small web. Điểm bắt đầu là bài “Ask HN: Bạn có thể chia sẻ blog cá nhân của mình không?” trên HN, và tôi cũng biết có người đã tạo một trang https://dm.hn/ tổng hợp các liên kết trong bài đó
    Sau khi xuất toàn bộ 1651 liên kết blog ra XLS, thỉnh thoảng tôi mở ngẫu nhiên 5–7 cái, đọc bài rồi đánh dấu là “đã xem”. Đến giờ tôi đã xem 250 trong số 1651 cái
    Tôi ước Kagi cũng có một tính năng tương tự để xem ở một nơi các liên kết website cá nhân được thu thập từ mọi nguồn

  • Cảm ơn vì đã đặt một liên kết nổi bật đến bài viết “The Small Web is Beautiful” của tôi. Tôi xem bài đó như tuyên ngôn phần mềm cá nhân của mình, nên rất vui khi thấy nó được quảng bá rộng hơn
    Tôi thật sự thích những gì Kagi Small Web đang làm. Tôi thích sáng kiến bắt đầu đưa những nội dung tuyệt vời như thế này lên bề mặt. Mong các bạn tiếp tục làm tốt. Tôi cũng định dùng thử Kagi Search

    • Ben, cảm ơn bạn đã viết bài đó. Đó là một bài viết thật sự truyền cảm hứng. Hy vọng bạn cũng thích trải nghiệm dùng Kagi

  • Vlad, tuyệt lắm! Khó mà biết điều này thực sự giúp ích cho người dùng hay công ty đến mức nào, nhưng biết rằng những chuyện như vậy vẫn còn xảy ra trên internet hiện đại thì thật ấm lòng

    • Cảm ơn. Đây chỉ là một trong những việc tôi đã muốn làm, và để làm nó tôi đã tự viết 100% code từ đầu đến cuối, mất gần như một phần đáng kể của cả tháng. Có thể nói đó không phải cách sử dụng thời gian của CEO tối ưu nhất, nhưng nó vui và cảm giác như là việc đúng nên làm

  • Tôi muốn thêm website của mình vào danh sách, nhưng vì robots.txt đang chặn mọi crawler nên có vẻ không cho gửi trực tiếp. Có cách nào để được thêm không?
    Tôi rất vui nếu được đưa vào kết quả tìm kiếm của Kagi, nhưng không muốn bị Google, ChatGPT và đám tiếp theo cào dữ liệu, nên tôi đã chặn hết bằng cách dễ nhất