Ecosia và Qwant hợp tác xây dựng chỉ mục tìm kiếm châu Âu
(blog.ecosia.org)- Ecosia và Qwant đang tạo chỉ mục tìm kiếm riêng thông qua European Search Perspective, nhằm tăng tính độc lập của công nghệ tìm kiếm châu Âu
- Chỉ mục tìm kiếm là cơ sở dữ liệu để công cụ tìm kiếm tìm thông tin và hiển thị theo thứ tự liên quan, quyết định chất lượng kết quả và quyền kiểm soát
- Ecosia hiện sử dụng kết hợp chỉ mục của Google và Bing, nhưng dự kiến từ năm 2025 sẽ thêm chỉ mục mới vào nhóm cơ sở dữ liệu kết quả tìm kiếm
- Việc áp dụng ban đầu sẽ bắt đầu với kết quả tìm kiếm bằng tiếng Pháp và tiếng Đức, phù hợp với thị trường quê nhà của Qwant và Ecosia, và được kiểm chứng ở quy mô nhỏ
- Chỉ mục mới nhắm tới chủ quyền số, tìm kiếm ưu tiên quyền riêng tư, một kho dữ liệu minh bạch và an toàn cho hạ tầng AI, đồng thời dự kiến cho phép bên ngoài sử dụng
European Search Perspective nhắm tới điều gì
- Ecosia cùng Qwant xây dựng European Search Perspective
- Công việc cốt lõi là tạo chỉ mục tìm kiếm riêng, có thể được dùng làm nền tảng công nghệ trong tương lai, bao gồm cả hạ tầng AI
- Việc này cũng gắn với các hoạt động liên quan đến Digital Markets Act, hướng tới một hệ sinh thái công nghệ công bằng, cạnh tranh và dân chủ hơn
Cách áp dụng chỉ mục tìm kiếm
- Chỉ mục tìm kiếm là cơ sở dữ liệu mà công cụ tìm kiếm dùng để lấy thông tin và hiển thị theo thứ tự liên quan nhất
- Hiện Ecosia đang sử dụng kết hợp chỉ mục của Google và Bing để trả lời truy vấn của người dùng
- Từ năm 2025, chỉ mục mới sẽ được thêm vào nhóm cơ sở dữ liệu dùng để cung cấp kết quả tìm kiếm
- Ngôn ngữ mục tiêu ban đầu là tiếng Pháp và tiếng Đức
- Bắt đầu ở quy mô nhỏ tại thị trường quê nhà của Qwant và Ecosia
- European Search Perspective có mục tiêu tăng chủ quyền số tại châu Âu và cung cấp một kho dữ liệu minh bạch, an toàn cần thiết cho các công nghệ AI mới nổi
- Chỉ mục này được phát triển như một chỉ mục tìm kiếm ưu tiên quyền riêng tư dùng chung bởi Ecosia và Qwant, và khác với các giải pháp độc quyền, dự kiến có thể được sử dụng ở nơi khác
- Ecosia cho rằng chất lượng công cụ tìm kiếm gắn liền với việc tạo tác động khí hậu, và xem việc phát triển công nghệ này là yếu tố then chốt cho tương lai của công nghệ xanh
1 bình luận
Ý kiến trên Hacker News
Qwant cần được nhìn nhận khá thận trọng
Họ đã nhận khoản đầu tư lớn từ Axel Springer (Bild, Die Welt), và rất có khả năng một ngày nào đó nhà xuất bản đó sẽ muốn được đáp lại cho khoản đầu tư ấy
Nếu mọi chuyện diễn ra như thời Cliqz/Hubert Burda (một nhà xuất bản lớn khác của Đức), họ có thể diễn giải lại quyền riêng tư thành “loại trừ các công ty Mỹ”, trong khi việc chia sẻ dữ liệu với các nhà xuất bản Đức thì được xem là ổn. Kiểu như hãy tin rằng họ chắc chắn đứng về phía tốt và sẽ xử lý dữ liệu có trách nhiệm
Ecosia thoạt nhìn có vẻ tốt hơn nhiều. Không có liên hệ rõ ràng với truyền thông truyền thống và cũng không che giấu khuynh hướng chính trị. Tuy vậy, tôi vẫn nghi ngờ liệu họ có sinh lời hay không, và muốn kiểm tra xem tiền thực sự đến từ đâu
Họ nắm gần như toàn bộ các kênh tin tức từ tầng lớp lao động thu nhập thấp đến tầng lớp trung lưu trên, và không ngần ngại dùng các kênh đó để bơm vào quan điểm chính trị mà Mathias Döpfner muốn lan truyền
Ở Đức thì không có ai sánh được, nhưng ở Mỹ có lẽ đó chỉ là mức bình thường
Trong một thời gian dài, về thực chất họ chỉ là một lớp bọc của Bing nhưng vẫn khẳng định là không phải
Họ công khai chi tiêu và các khoản quyên góp hằng tháng, và tháng 1 đã kiếm được khoảng 4 triệu euro, nên có thể xem là đủ thành công với việc họ muốn làm
Xin nói thêm là tôi từng làm việc tại Cliqz
Theo tiêu chuẩn cách đây chưa quá lâu, tôi cảm thấy Qwant kém Google một chút
Trong lúc đó, GOOD Search có trụ sở tại Đức có thể là một lựa chọn thay thế
Họ dùng chỉ mục tìm kiếm độc lập của Brave, và theo [1] thì chỉ mục đó cũng phần lớn được phát triển ở Đức
[0] https://good-search.org/
[1] https://en.reset.org/the-good-search-engine-web-search-witho...
GOOD Search là một công ty vì mục đích xã hội của Đức, muốn hợp tác với những công nghệ độc lập tốt nhất và hiện đang tập trung vào Brave Search
Họ cũng có thể tiếp cận Mojeek có trụ sở tại Anh, và đang liên hệ với startup Qwant/Ecosia. Những bên này có khả năng sẽ chuẩn bị nguồn tìm kiếm độc lập cho tiếng Pháp vào khoảng giữa năm 2025, còn tiếng Đức có lẽ vào khoảng đầu năm 2026
Andreas, đồng sáng lập GOOD Search
Miễn là không phải tin tức mới nhất, và họ cũng tìm các loại trang torrent rất tốt
GOOD thu 2 euro/tháng cho tìm kiếm không giới hạn, nên tôi tò mò vì sao chi phí lại thấp hơn Kagi nhiều như vậy. Có lẽ giá chỉ mục của Brave rẻ hơn nhiều so với việc tự xây chỉ mục riêng
Tin tốt. Hiện nay châu Âu rõ ràng có lý do để giảm sự phụ thuộc vào công nghệ và hàng hóa Mỹ, nhưng kể cả bỏ qua điều đó thì việc thế giới nhỏ hẹp của chỉ mục tìm kiếm được mở rộng cũng là điều tích cực
Có lẽ không gây tranh cãi lắm khi nói tìm kiếm gần đây hơi chững lại, và hy vọng cạnh tranh tăng lên sẽ mang lại cải thiện cho tất cả mọi người
Tuyệt vời. Thậm chí là quá muộn
Mong rằng những liên doanh có nền tảng châu Âu kiểu này sẽ xuất hiện nhiều hơn ở mọi mặt
Khi ra mắt, Qwant có hiệu năng cực tốt và cũng có “lite.qwant.com” đẹp như DuckDuckGo lite, nhưng cuối cùng họ đã bỏ nó và làm trang chủ trở nên cồng kềnh
Ecosia trước đây cũng ít phức tạp hơn và nhanh hơn, còn bây giờ thì có cảm giác như đang xem một website sách tranh thiếu nhi và quảng cáo cũng nhiều hơn
Cuối cùng có lẽ hai bên sẽ hợp tác để tạo ra thế hệ tiếp theo của Yahoo! ngày xưa rồi thất bại
Tôi nghĩ hình thức này có thể là tương lai của tìm kiếm web
Đó là cách các công cụ tìm kiếm mở hoặc bán mở tập hợp lại để cung cấp trải nghiệm tìm kiếm mở và miễn phí dựa trên một nguồn/chỉ mục chung. Sẽ rất tốt nếu DDG và Brave cũng tham gia trực tiếp
Các dịch vụ như Kagi cũng tốt, nhưng cùng lắm họ sẽ trở thành một nhà cung cấp cao cấp may vest đặt riêng trên một con phố đắt đỏ ở một thành phố cực kỳ đắt đỏ. Tôi không nghĩ tìm kiếm phổ thông có tính chất như vậy
Tôi cũng thấy mô hình kinh doanh của Kagi thú vị. Tôi nghĩ trên thị trường luôn có chỗ cho những công ty làm khá tốt việc của mình như một doanh nghiệp bền vững, thay vì nhắm tới thống trị thế giới trong một lĩnh vực nào đó
Kagi không cần phải là “kẻ tiêu diệt Google”; chỉ cần hoạt động đủ tốt để những người như tôi sẵn sàng trả tiền và hài lòng với những gì nhận được là được
Kagi đã có lãi vào năm 2024, sau 2 năm kinh doanh, dù chi phí hiện tại khi dùng chỉ mục của Google có lẽ khá lớn. Nếu họ vẫn là một doanh nghiệp ngách nhưng tiếp tục tăng trưởng (hiện có 41 nghìn thành viên [0]) thì như vậy là đủ phù hợp với những người giống tôi
Không cần phải trở thành “tìm kiếm phổ thông”; chỉ cần đủ tốt để người ta chịu trả tiền là được
[0] https://kagi.com/stats
Những nỗ lực kiểu này đã có hàng chục lần rồi, và tất cả đều thất bại vì không có nhu cầu thị trường thực sự. Trong hầu hết trường hợp, mã nguồn mở không phải là một tính năng
Tôi không thấy nó giải quyết nhu cầu chưa được đáp ứng nào của đủ nhiều người dùng để đáng làm
Khó mà tin lắm vào các dịch vụ thân thiện với quyền riêng tư của Pháp và Đức
[1]: https://techcrunch.com/2016/08/24/encryption-under-fire-in-e...
[2]: https://www.laquadrature.net/en/2023/06/05/criminalization-o...
[3]: https://news.ycombinator.com/item?id=36275795
Trên thực tế, qua con đường đó các cơ quan tình báo cũng có thể xâm phạm quyền riêng tư khá nhiều
EU thì thay vì xử lý việc doanh nghiệp xâm phạm quyền riêng tư, lại có sự thỏa hiệp ở mảng quyền riêng tư trong thực thi pháp luật
Nhìn vào những gì Mỹ làm, ngay cả nếu châu Âu không quan tâm gì đến mã hóa mà chỉ muốn một dịch vụ ổn định, đáng tin cậy và không bị bất ngờ lạm dụng cho mục đích địa chính trị, thì vẫn có lựa chọn tốt hơn việc chọn dịch vụ Mỹ
Không biết có ai biết chỉ mục tìm kiếm AAAA hoặc công cụ tìm kiếm để dùng trên mạng chỉ có IPv6 không
Các công cụ tìm kiếm hiện có thể truy cập qua IPv6 trả về quá nhiều kết quả không thể truy cập được
Tôi đang trả tiền dùng Kagi, và nếu có phương án thay thế có chủ quyền châu Âu thì tôi cũng sẵn sàng trả cùng mức tiền
Tốt
Không biết Ecosia/Qwant so với Kagi thì thế nào. Tôi đã dùng Kagi hài lòng mấy năm nay, nhưng gần đây thấy việc ủng hộ các lựa chọn ngoài Mỹ cũng không tệ
Tôi nhớ Qwant đã có chỉ mục riêng từ khá lâu, và khi kết quả quá ít thì bổ sung bằng Bing. Ecosia thì gần như chỉ là Bing, và gần như chỉ có vậy
Với Qwant, có thể bạn phải viết truy vấn hơi khác một chút. Kiểu từ khóa cũ như “bike chain roller standard size” hợp hơn kiểu câu hỏi như “what is the standard bike chain size”, và cá nhân tôi cho rằng đó mới là cách đúng
Các thiết lập tinh chỉnh rất hạn chế, nhưng nhìn chung kết quả rất tốt
Tôi truy cập từ Brazil, và hình như chưa từng thấy thông báo kiểu này ở một công cụ tìm kiếm
Bing vươn tới nhiều nơi hơn, nhưng chất lượng kém hơn
Sẽ rất tốt nếu có một chỉ mục tìm kiếm mở trong đó URL và các thuộc tính crawl được chia sẻ với những người khác
Khi đó các công ty nhỏ hoặc nhà nghiên cứu chỉ cần crawl lại các trang có triển vọng để tạo kho lưu trữ cục bộ của mình. Tức là một phiên bản web đã được lọc theo hướng ưu tiên những gì có khả năng hữu ích và an toàn cho nhiều người, chẳng hạn không có mã độc
Nếu cần chi phí, có thể là sản phẩm thương mại định giá theo quy mô tổ chức. Nếu kết quả nghiên cứu là phi thương mại hoặc có giấy phép dễ dãi thì cung cấp miễn phí cho nhà nghiên cứu, còn các trường hợp khác thì giảm giá. Tôi hình dung kiểu định giá như Windows bản cá nhân/máy chủ, vừa cân bằng lợi nhuận vừa bảo đảm khả năng tiếp cận rộng rãi
Như vậy có thể tái tạo các bộ dữ liệu như RefinedWeb mà không vi phạm luật bản quyền. Tất nhiên vẫn phải cân nhắc điều khoản dịch vụ, luật hợp đồng, v.v. Việc crawl cho mục đích sử dụng nội bộ, đặc biệt là phi thương mại, có lập luận pháp lý mạnh hơn để tự bảo vệ. Chỉ riêng việc loại bỏ vấn đề bản quyền cũng đã giúp ích rất nhiều
Nếu có một chỉ mục trung gian, người tạo nội dung sẽ có ít quyền tự quyết hơn trong việc cho phép hoặc chặn ai crawl. Dù vậy, hiện nay việc dùng nội dung cho AI đã quá lộ liễu nên có thể điều đó cũng không còn nhiều ý nghĩa
Độ mới của nội dung cũng là vấn đề. Kích thước dữ liệu có thể trở nên rất lớn, và một số trang cần được cập nhật thường xuyên hơn các trang khác. Mỗi người dùng chỉ mục cũng có thể quan tâm đến những tập trang khác nhau, nên ai sẽ quyết định là chuyện không rõ ràng
Nội dung tập trung như Reddit cũng là vấn đề. Họ đã chặn rất quyết liệt để hầu hết bot không crawl được nội dung. Cần crawl rất nhiều trang mỗi ngày, và cuối cùng khả năng cao sẽ bị chặn. Vì thường chỉ một số bot được ưu đãi để crawl mạnh tay hơn