- Cloudflare Radar đã bổ sung trang riêng AI Insights, cho phép nắm bắt trên một màn hình lưu lượng bot/trình thu thập AI, mức độ phổ biến của các dịch vụ AI tạo sinh dựa trên DNS, chỉ thị robots.txt và xu hướng sử dụng mô hình trên Workers AI
- Biểu đồ lưu lượng bot và crawler AI cung cấp dữ liệu chuỗi thời gian/tóm tắt của các UA hàng đầu dựa trên danh sách ai.robots.txt, đồng thời hỗ trợ phân tích chi tiết qua Radar API và Data Explorer
- Xếp hạng dịch vụ AI tạo sinh dùng dữ liệu DNS từ 1.1.1.1 cho thấy xu hướng biến động theo tổng hợp hằng ngày, qua đó xác nhận biến động mạnh của các dịch vụ mới nổi như DeepSeek tăng vọt vào cuối tháng 1/2025 (xuất hiện ngày 26/1 → hạng 3 ngày 29/1)
- Phân tích robots.txt tổng hợp các chỉ thị Allow/Disallow liên quan đến AI trên 10.000 tên miền hàng đầu để trực quan hóa xu hướng chặn theo từng danh mục, cho thấy xu hướng không cho phép trên diện rộng trong mảng tin tức và truyền thông
- Mức độ phổ biến của mô hình/tác vụ trên Workers AI cung cấp xu hướng sử dụng theo mô hình và tác vụ cùng so sánh theo giai đoạn dựa trên dữ liệu chia sẻ, giúp hiểu được dòng chảy của hệ sinh thái mô hình đang tiến hóa rất nhanh
Tổng quan
- Cloudflare đã mở thêm trang AI Insights trong Radar để cung cấp tích hợp xu hướng lưu lượng, độ phổ biến của dịch vụ, kiểm soát truy cập và sử dụng mô hình liên quan đến AI
- Nguồn dữ liệu gồm lưu lượng DNS 1.1.1.1, danh sách user-agent ai.robots.txt, dữ liệu chia sẻ của Workers AI, cùng tích hợp với Radar API/Data Explorer
Xu hướng lưu lượng bot và crawler AI
- Hoạt động của 5 bot/crawler AI hàng đầu được trực quan hóa theo từng giai đoạn để giúp nhận biết cường độ request và tính chu kỳ
- Tiêu chí thu thập user-agent tham chiếu danh sách ai.robots.txt và được cập nhật liên tục
- Hỗ trợ truy cập theo chương trình qua các endpoint API chuỗi thời gian/tóm tắt
- Có thể khám phá xu hướng diện rộng của toàn bộ tập bot AI trong Data Explorer
- Nhà vận hành có thể kiểm tra lưu lượng bất thường theo khu vực, thời gian và UA
- Có thể dùng cho phân tích tương quan với chính sách ứng phó nội bộ
Mức độ phổ biến của các dịch vụ AI tạo sinh
- Cung cấp xếp hạng tương đối của các dịch vụ AI tạo sinh công khai theo ngày dựa trên lượng request DNS từ 1.1.1.1
- Trong các bài tổng kết thường niên 2023/2024, ChatGPT tiếp tục giữ vị trí số 1
- Vào cuối tháng 1/2025, nhóm hạng 6–10 được ghi nhận có biến động lớn
- DeepSeek sau lần xuất hiện đầu tiên ngày 26/1 đã tăng vọt lên hạng 3 vào ngày 29/1
- Cung cấp dữ liệu xếp hạng tần suất cao hữu ích để phát hiện các dịch vụ mới nổi tăng trưởng nhanh
- Có thể truy cập chuỗi thời gian dữ liệu gốc trong Radar API bằng tham số
serviceCategory=Generative%20AI
Phân tích tệp robots.txt
- Thu thập định kỳ 10.000 tên miền hàng đầu để tổng hợp các chỉ thị Allow/Disallow liên quan đến AI
- Biểu đồ tóm tắt cho phép/không cho phép hoàn toàn và cho phép/không cho phép một phần theo từng user-agent
- Danh mục tin tức và truyền thông cho thấy xu hướng không cho phép trên diện rộng đối với AI UA
- Xét theo chỉ thị Allow, số lượng website cho phép một cách tường minh đã giảm mạnh
- Cần lưu ý rằng khi không ghi rõ UA và không có wildcard thì hệ thống sẽ mặc định cho phép toàn bộ
- Radar API và Data Explorer hỗ trợ phân tích lọc theo bot/chỉ thị
Mức độ phổ biến của mô hình và tác vụ trên Workers AI
- Trực quan hóa xu hướng sử dụng các mô hình và tác vụ (Task) được hỗ trợ công khai trên Workers AI dựa trên dữ liệu chia sẻ
- Cung cấp riêng độ phổ biến của mô hình/độ phổ biến của tác vụ dưới dạng chuỗi thời gian và tóm tắt
- Trong Data Explorer, có thể phân tích mức tăng giảm so với tháng trước bằng tính năng so sánh theo giai đoạn (timeCompare)
- Ví dụ mô hình: tạo văn bản, tạo ảnh, nhận dạng giọng nói, phân loại ảnh cùng nhiều tác vụ đa dạng khác
- Khi các mô hình mới mạnh hơn được phát hành, có thể tận dụng khả năng hiển thị sớm để ứng phó chủ động
Kết luận và hàm ý
- Hệ sinh thái AI cho thấy mức biến động rất lớn, với nhiều trường hợp dịch vụ mới tăng trưởng bùng nổ trong thời gian ngắn
- Cùng với sự lan rộng của dịch vụ tạo sinh, các vấn đề về scraping nội dung, bản quyền và kiểm soát truy cập tiếp tục ở trong trạng thái căng thẳng kéo dài
- Trang AI Insights cung cấp tích hợp lưu lượng, độ phổ biến, kiểm soát truy cập và sử dụng mô hình, hữu ích cho người theo dõi ngành và người làm thực tế trong việc nắm bắt xu hướng theo thời điểm
- Nhà vận hành có thể xây dựng hệ thống giám sát và báo cáo tự động thông qua Radar API và Data Explorer
- Có thể tinh chỉnh cách ứng phó với bot AI bằng cách liên kết chiến lược chỉ thị robots.txt với chính sách CDN/bảo mật
Chưa có bình luận nào.