- Nhiều người dùng sử dụng trình đọc feed RSS để theo dõi nội dung trên website luôn được cập nhật
- Tuy nhiên, khi bật Cloudflare cho website, có khả năng những người dùng RSS này sẽ bị chặn và không thể truy cập nội dung.
- Trong bảng điều khiển Cloudflare có các công cụ để chặn lưu lượng bot. Đặc biệt có Bot Fight Mode và tùy chọn chặn "AI scrapers and crawlers".
- Khi bật các tính năng này, người dùng truy cập website thông qua trình đọc RSS có thể bị chặn.
Cách Cloudflare chặn trình đọc RSS
- Cloudflare có thể xem lượt truy cập website là AI scraper hoặc bot rồi chặn lại.
- Khi trình đọc RSS cố đọc website, Cloudflare sẽ đưa ra thử thách mà con người phải tự giải. Trình đọc RSS không thể vượt qua thử thách này.
- Trong một số trường hợp khác, Cloudflare cũng có thể chặn quyền truy cập của trình đọc RSS mà không có lý do rõ ràng.
Gỡ chặn trình đọc RSS khi vẫn dùng Cloudflare
- Ngay cả khi vẫn dùng Cloudflare, bạn vẫn có thể đưa trình đọc RSS vào whitelist để bỏ chặn.
- Bạn cần tìm user-agent của trình đọc RSS đã bị chặn trong bảng điều khiển phân tích của Cloudflare.
- Có thể tạo quy tắc tùy chỉnh dựa trên chuỗi user-agent hoặc địa chỉ IP để cho phép lưu lượng đó.
Cần một cách tốt hơn để Cloudflare cho phép trình đọc RSS
- Cloudflare có cung cấp chương trình xác thực bot để chủ sở hữu trình đọc RSS có thể đăng ký thủ công, nhưng chương trình này không được bảo đảm và có nhiều vấn đề.
- Quy trình xác thực không ổn định.
- Trình đọc RSS đã được xác thực vẫn tiếp tục bị chặn.
- Việc gỡ chặn trình đọc RSS trên nhiều website là rất phiền phức.
Tổng hợp của GN⁺
- Các công cụ bảo mật của Cloudflare hữu ích trong việc ngăn bot độc hại và các cuộc tấn công, nhưng cũng cần bảo đảm người dùng công cụ RSS có thể truy cập nội dung website.
- Cloudflare nên cung cấp cách xử lý dễ dàng cho vấn đề chặn trình đọc RSS.
- Đây là thông tin quan trọng với các chủ website đang dùng thiết lập bảo mật của Cloudflare
1 bình luận
Ý kiến trên Hacker News
Nhà vận hành NewsBlur đang gặp khó khăn trong việc thu thập nguồn cấp RSS do bị Cloudflare chặn, và người dùng đang yêu cầu hoàn tiền. Họ đã chia sẻ danh sách địa chỉ IP với Cloudflare nhưng không có hiệu quả. Họ hy vọng Cloudflare sẽ thêm danh sách này vào danh sách cho phép
Listen Notes sử dụng Cloudflare để quản lý bảo mật dịch vụ, đồng thời tách các tên miền phụ theo từng loại lưu lượng và áp dụng các quy tắc tường lửa cũng như quy tắc trang phù hợp cho từng loại. Nhờ đó có thể bảo đảm cung cấp dịch vụ tối ưu
Khi chạy Firefox trên OpenBSD với thiết lập quyền riêng tư nghiêm ngặt, các trang web đặt sau Cloudflare sẽ gặp lỗi 403 Forbidden. Có vẻ đây là vấn đề từ phía Cloudflare
Việc thêm từng user-agent cụ thể vào danh sách cho phép là công việc thủ công không có hồi kết và kẻ xấu vẫn có thể lách qua. Thay vào đó, nên tạo quy tắc trang để vô hiệu hóa chặn bot, qua đó giải quyết vấn đề cho mọi trình đọc RSS. Vấn đề trong cấu hình mặc định của Cloudflare đã nhiều năm vẫn chưa được khắc phục
Cloudflare muốn lắng nghe trải nghiệm của các chủ sở hữu trình đọc RSS qua email jgc@cloudflare.com, và dự định đề nghị nhóm điều tra kỹ hơn về vấn đề này
Chủ sở hữu trình đọc RSS cho biết rất nhiều yêu cầu hỗ trợ xuất phát từ vấn đề "nguồn cấp không hoạt động", và điều này không chỉ do Cloudflare mà còn do nhiều cấu hình tường lửa khác nhau gây ra
Cloudflare cản trở việc thu thập nguồn cấp của các trình đọc RSS, và ngoài việc yêu cầu từng chủ sở hữu trang web tự thêm ngoại lệ riêng lẻ thì không có cách giải quyết nào khác
Các trang web sử dụng Cloudflare có thể chặn người dùng Safari, Chrome hoặc thậm chí tất cả người dùng, điều này gây thiệt hại cho chủ sở hữu trang web. Khi truy cập chính Cloudflare thì lại không bị chặn
Khi một trang web của chính phủ bị Cloudflare chặn, gần như không thể giải thích vấn đề và yêu cầu khắc phục. Ngay cả khi được sửa, vài tuần sau vấn đề lại tái diễn
Cloudflare cản trở truy cập web từ IP Thái Lan và dấu vân tay Linux Firefox, trong khi quản trị viên web không nhận thức được các vấn đề này. Họ đã dùng API web scraping của Scrapfly để tạo một cầu nối RSS nhằm giải quyết vấn đề. Web hiện đại đang trở nên phản xã hội và ngày càng xa rời lý tưởng Web 2.0 rằng mọi thứ sẽ được kết nối qua API