Cloudflare giới thiệu tính năng phân phối nội dung chuyển đổi sang Markdown cho agent

(blog.cloudflare.com)

13 điểm bởi GN⁺ 2026-02-13 | Chưa có bình luận nào. | Chia sẻ qua WhatsApp

Khi lưu lượng lấy AI crawler và agent làm trung tâm tăng lên, cấu trúc web đang chuyển sang mô hình nơi nội dung được máy móc trực tiếp tiêu thụ chứ không chỉ con người
Khi chuyển HTML sang Markdown, mức sử dụng token giảm khoảng 80%, giúp cải thiện chi phí và hiệu quả xử lý
Hỗ trợ chuyển đổi HTML→Markdown theo thời gian thực ở cấp độ mạng dựa trên header Accept: text/markdown
Cung cấp kèm ước tính số token và chính sách sử dụng AI thông qua các header x-markdown-tokens, Content-Signal
Có thể theo dõi cách bot AI tiêu thụ nội dung trong Radar, và đang được cung cấp miễn phí ở bản beta cho các gói Pro trở lên

Bối cảnh: Cấu trúc lưu lượng web đang chuyển sang lấy AI agent làm trung tâm

Cách khám phá nội dung trực tuyến đang nhanh chóng dịch chuyển từ mô hình tập trung vào công cụ tìm kiếm truyền thống sang cấu trúc lấy AI crawler và agent làm trung tâm
- Trước đây SEO quyết định lưu lượng, nhưng nay các hệ thống AI yêu cầu dữ liệu có cấu trúc đã nổi lên như chủ thể tiêu thụ chính
Doanh nghiệp hiện phải cân nhắc không chỉ khách truy cập là con người mà cả agent như công dân hạng nhất (first-class citizen)
Web hiện tại được xây dựng trên cấu trúc HTML dành cho con người, nên đang chứa quá nhiều thành phần không cần thiết đối với việc xử lý của AI

HTML có cấu trúc gây lãng phí token do các thành phần như <div>, <script>, phần tử điều hướng không liên quan đến ý nghĩa ngữ nghĩa
- Ví dụ: ## About Us khoảng 3 token, trong khi cùng nội dung ở HTML <h2 class="section-title"...> tiêu tốn 12~15 token
Theo chính bài blog này, HTML 16.180 token → Markdown 3.150 token, tức tiết kiệm khoảng 80% token
Markdown cung cấp cấu trúc rõ ràng, giúp cải thiện hiệu quả xử lý AI và chất lượng kết quả
Hiện nay phần lớn pipeline AI đều bao gồm bước chuyển HTML→Markdown, nhưng
- chi phí tính toán tăng
- độ phức tạp xử lý tăng
- có khả năng khác với ý định của tác giả

Mạng Cloudflare hỗ trợ chuyển đổi HTML→Markdown theo thời gian thực
- Hoạt động dựa trên content negotiation ở zone đã bật tính năng
Khi client gửi yêu cầu kèm header Accept: text/markdown
- hệ thống lấy HTML gốc từ origin
- rồi chuyển đổi sang Markdown trên mạng và trả về
Ví dụ phản hồi
- content-type: text/markdown
- vary: accept
- kèm header x-markdown-tokens: 725
x-markdown-tokens cung cấp ước tính số token của tài liệu Markdown
- có thể dùng để tính context window
- hoặc quyết định chiến lược chunking

Tích hợp với Content Signals framework
Phản hồi Markdown mặc định bao gồm
- header Content-Signal: ai-train=yes, search=yes, ai-input=yes
Có thể chỉ rõ việc có cho phép dùng cho huấn luyện AI, tìm kiếm, hay đầu vào cho agent hay không
Trong tương lai sẽ cung cấp tùy chọn chính sách tùy chỉnh

Đã kích hoạt tính năng cho Developer Documentation và Blog
Khi gửi yêu cầu curl -H "Accept: text/markdown", hệ thống trả về Markdown
Phần đầu phản hồi bao gồm metadata YAML
- title
- description
- image và các thông tin có cấu trúc khác

Workers AI AI.toMarkdown()
- hỗ trợ chuyển đổi và tóm tắt nhiều định dạng tài liệu, bao gồm HTML
Browser Rendering /markdown REST API
- hỗ trợ chuyển đổi sang Markdown sau khi render bằng trình duyệt thực
- có thể xử lý trang động

Trong Radar AI Insights đã thêm chiều content_type
- có thể kiểm tra phân bố kiểu MIME của nội dung trả về cho bot AI và crawler
Có thể lọc các yêu cầu Markdown theo từng agent cụ thể
- ví dụ: OAI-Searchbot(GPTBot)
Có thể truy cập dữ liệu qua API công khai và Data Explorer