Dự án ArchiveTeam Warrior
(warrior.archiveteam.org)- ArchiveTeam Warrior là công cụ lưu trữ ảo cho phép tham gia vào công việc của ArchiveTeam nhằm bảo tồn dữ liệu web có nguy cơ biến mất bằng tài nguyên nhàn rỗi của máy tính cá nhân
- Warrior tải xuống các trang web và tải chúng lên kho lưu trữ của ArchiveTeam, còn người dùng chủ yếu đóng góp băng thông và một phần dung lượng đĩa
- Có thể chạy trên Windows, OS X, Linux, và môi trường được khuyến nghị là VirtualBox, nhưng cũng có thể dùng VMware hoặc các chương trình máy ảo tương tự
- Trong VirtualBox, nhập appliance, khởi động máy ảo, rồi thiết lập tên người dùng và dự án muốn tham gia trong trình duyệt
- Appliance máy ảo mới nhất là version 4.1, và cũng có thể chạy dự án bằng Docker warrior instance thay cho VM
ArchiveTeam Warrior làm gì
- ArchiveTeam Warrior là công cụ dựa trên máy ảo để tham gia công việc lưu trữ web của ArchiveTeam
- Tải dữ liệu trang web xuống và tải lên kho lưu trữ của ArchiveTeam
- Quy trình vận hành được thiết kế để có thể tham gia dễ dàng
- Warrior hoạt động dưới dạng máy ảo, và người dùng cung cấp băng thông cùng một phần dung lượng đĩa
- Môi trường chạy hỗ trợ Windows, OS X, Linux
- Khuyến nghị dùng VirtualBox
- Cũng có thể dùng VMware hoặc các chương trình tương tự
Cài đặt và quy trình tham gia
-
Bắt đầu với VirtualBox
- Tải tệp appliance
- Trong VirtualBox, chọn
File > Import Applianceđể mở tệp - Khi khởi động máy ảo, hệ thống sẽ lấy các bản cập nhật mới nhất, sau đó hiện hướng dẫn mở trình duyệt web
-
Thiết lập Warrior
- Truy cập
http://localhost:8001/để xem trang Settings - Khi chọn tên người dùng, tiến độ sẽ được hiển thị trên bảng xếp hạng
- Trong tab All projects, có thể chọn dự án muốn làm, hoặc chọn ArchiveTeam’s Choice để tự động nhận dự án khẩn cấp nhất
- Truy cập
-
Phiên bản mới nhất và lựa chọn Docker
- Appliance máy ảo Warrior đã được cập nhật lên version 4.1, còn liên kết appliance warrior3 hiện là liên kết cũ
- Cũng có thể chạy dự án bằng Docker warrior instance mà không cần VM appliance; xem README của GitHub repository để biết chi tiết
- Vấn đề hoặc phản hồi được xử lý tại kênh
#warriortrên hackint - Có thể đọc Frequently Asked Questions
Hỗ trợ ArchiveTeam và Internet Archive
- Internet Archive lưu trữ các kho lưu trữ của ArchiveTeam, đồng thời duy trì một thư viện mà bất kỳ ai cũng có thể truy cập miễn phí, không chỉ đơn thuần là lưu giữ dữ liệu
- Có thể quyên góp tại Donate to the Internet Archive
- Nếu muốn thuê máy chủ cho ArchiveBot, máy chủ rsync, hoặc quyên góp cho thành viên ArchiveTeam, hãy hỏi trong phòng chat IRC phù hợp
Các dự án có thể tham gia
- Các dự án hiện tại gồm URLTeam 2, URLs, Blice, Tenor, KakaoTV, Wikimedia Etherpad, Medica Bibliothèque Numérique, Recursive Jobs, Roblox Groups, Peing-質問箱-, Microsoft Update, Meta Ad Library, Twitch, Radio Free Asia, Radio Free Europe/Radio Liberty, Voice of America, US Government, Blogger, Telegram, YouTube, GitHub, MediaFire, Pastebin, Imgur, ВКонтакте, Stack Exchange, Periscope
- Dự án YouTube lưu trữ các video YouTube được chọn và có cảnh báo rằng địa chỉ IP sẽ được lưu cùng URL video
- Dự án GitHub được thực hiện với sự hợp tác giữa Internet Archive và GitHub
- Dự án Periscope hiện ở trạng thái PAUSED
1 bình luận
Các ý kiến trên Hacker News
Những dự án như thế này là rất cần thiết, nhưng ngoài việc lưu trữ đơn thuần, cần có cách để dữ liệu đó thực sự được công chúng sử dụng
Reddit có lẽ không cảm thấy bị đe dọa bởi việc ai đó cào dữ liệu để tạo một bản sao lưu khó truy cập, nhưng nếu một mạng lưới node phân tán chạy các bản sao một phần của Reddit và cung cấp dữ liệu cho các client ưu tiên cục bộ hoặc mirror Lemmy thì họ hẳn sẽ sợ hơn nhiều
Nhân tiện, Archive Team là tổ chức riêng với Internet Archive
Cứ nhìn PushShift, Nitter, Youtube Vanced là thấy
Theo kiểu danh tính của một thứ chính là cấu tạo của nó
Bài liên quan:
ArchiveTeam Warrior: lưu trữ imgur nhiều nhất có thể - https://news.ycombinator.com/item?id=35983510 - tháng 5/2023, 2 bình luận
Help preserve the internet with Archiveteam's warrior - https://news.ycombinator.com/item?id=30524842 - tháng 3/2022, 51 bình luận
ArchiveTeam Warrior backing up Reddit - https://news.ycombinator.com/item?id=29584622 - tháng 12/2021, 71 bình luận
Tôi nghĩ cái này có thể chạy bằng Docker nên đã tìm repo, và thật vui là mọi thứ đã được chuẩn bị sẵn
https://github.com/ArchiveTeam/warrior-dockerfile/tree/maste...
https://github.com/ArchiveTeam/warrior-dockerfile/blob/maste...
Thiết lập rất dễ
Nhân lúc gói Internet của tôi đã thành không giới hạn, tôi thấy vui vì có thể đóng góp dù chỉ theo cách nhỏ
Tôi đã thử xem có thể chạy script ArchiveTeam Warrior trên một điện thoại Android không dùng nữa hay không, nhưng không được hỗ trợ trực tiếp và vượt quá khả năng của tôi
Giá mà có thời gian tìm cách thiết lập trong QEMU trên Raspberry Pi; nếu có một file compose như vậy được công khai thì có lẽ nhiều người hơn sẽ dùng được
Vài tháng trước, tôi đã thiết kế một hệ thống cho phép mọi người đóng góp dung lượng đĩa cho các dịch vụ như archive.org
Nếu bạn nói “tôi muốn host 100GB nội dung archive.org”, hệ thống sẽ liên lạc với archive.org để tìm nội dung hiện hiếm nhất và đẩy nó tới người dùng
Cũng có chức năng tìm kiếm: nếu bạn nói “tôi muốn nhận nội dung X trong mạng này” thì nó sẽ tìm giúp
Nó gần như chỉ là một lớp wrapper mỏng bên trên torrent, nhưng hiện chưa có thứ như vậy, và khi tôi liên hệ với những người làm lưu trữ thì họ không mấy quan tâm
Tuy nhiên, dùng công cụ này sẽ khiến bạn vi phạm pháp luật do xâm phạm bản quyền
Hiện giờ có vẻ đã hỏng
Chỉ cần host khối dữ liệu với mức phí cho một khoảng thời gian cố định và số lượt tải xuống cố định là được
Họ có nói lý do không?
Nếu muốn đóng góp cho bảo tồn số, bạn có thể cân nhắc chạy appliance Warrior hoặc container Docker
Tôi không rõ lợi thế của cách mọi người tải site xuống rồi upload bằng cấu hình lưu trữ do Archive Team chuẩn bị là gì
Nó tốt hơn ở điểm nào so với việc Archive Team tự tải site trực tiếp và đưa vào kho lưu trữ của họ?
B) Có lẽ quan trọng hơn là các yêu cầu được phân tán từ nhiều nơi, nên ít khả năng bị giới hạn tốc độ hoặc chặn hơn
Cần có một nơi nào đó để tải xuống trước khi đẩy lên archive.org
Tôi thắc mắc dự án này ngăn chặn thế nào việc tôi, với vai trò kẻ tấn công, đưa dữ liệu rác ngẫu nhiên vào, hoặc sửa sai các trang đã tải xuống theo một cách cụ thể
Với HTTP thì có vẻ là không thể, còn với HTTPS thì ai thực hiện TLS termination?
Nếu Warrior chỉ là một TCP proxy đơn giản và Archive là TLS client thì có thể an toàn, nhưng https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior có vẻ không giải thích rõ phần đó
Mục tiêu là lấy được càng nhiều dữ liệu càng tốt trong thời gian ngắn nhất có thể trước khi trang web bị gỡ xuống
Tôi cho rằng để lẫn 1% dữ liệu rác vẫn tốt hơn là mất 30% hiệu suất lưu trữ vì quá đa nghi
Với HTTPS, Warrior đúng nghĩa là chạy wget để lưu thành tệp WARC, rồi tải tệp đó lên máy chủ theo dõi
Tôi muốn đóng góp bằng Raspberry Pi, nhưng việc không hỗ trợ ARM hơi bất tiện
Tôi chỉ muốn tải container về chạy là xong, nhưng không có cách vòng qua dễ dàng: https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior#C...?
Dù vậy vẫn có thể chạy dưới cơ chế giả lập chế độ người dùng của QEMU, và thực tế có vài host đang dùng theo cách đó
Đọc README thì thấy có hướng dẫn sau
Version 4 is now available at
https://warriorhq.archiveteam.org/downloads/warrior4/
Ở đây có README chứa liên kết đến mã nguồn phiên bản mới: https://github.com/ArchiveTeam/warrior4-vm
Phiên bản mới này cũng được nhắc đến trên trang chủ wiki
An updated Warrior virtual appliance (v3.2, v4.0) is now available with better support for newer projects that utilize wget-at.
ArchiveTeam nên cập nhật URL tải xuống appliance