The New York Times chặn gần như mọi crawler AI. The Guardian đi theo hướng khác. File robots.txt của tờ báo cũng có thông báo pháp lý chống việc dùng cho AI, nhưng crawler của OpenAI đọc trang tự do, còn crawler của Anthropic, Perplexity và Meta thì không. Chúng tôi chạy AI bot checker trên theguardian.com để cho thấy cách một nhà xuất bản biến robots.txt thành danh sách đối tác, và điều đó có ý nghĩa gì với những ai muốn được một trợ lý AI trích dẫn nhưng không phải trợ lý khác.
- 54/100Điểm AI Visibility (Moderate)
- 9/97Bot AI bị chặn
- 5/14Bot Tier 1 bị chặn
- 29/257Tổng bot bị chặn
- 77/100Điểm GEO
Tóm tắt nhanh
The Guardian chặn 9 trên 97 crawler AI, ít hơn nhiều so với The Times (25), và Điểm AI Visibility là 54/100 (Moderate). Việc chặn không ngẫu nhiên. Mọi crawler của OpenAI đều được phép: GPTBot, OAI-SearchBot và ChatGPT-User đều rơi vào nhóm wildcard đang mở. Mọi crawler của Anthropic (ClaudeBot, Claude-SearchBot, Claude-User) đều bị gọi tên và chặn, cùng với PerplexityBot, Meta-ExternalAgent và DuckAssistBot.
Mô hình này khớp với mặt kinh doanh. Tháng 2/2025, Guardian Media Group công bố hợp tác chiến lược với OpenAI, đưa báo chí của Guardian vào ChatGPT kèm ghi nguồn và liên kết. Crawler của đối tác được vào. Crawler của các công ty chưa có thỏa thuận công khai thì không.
Cấu trúc của file
Giống The Times, The Guardian mở đầu bằng điều khoản chứ không phải luật: nội dung được cung cấp theo điều khoản sử dụng, và mọi việc dùng "cho mô hình ngôn ngữ lớn (LLM), machine learning và/hoặc các mục đích liên quan đến trí tuệ nhân tạo" đều không được phép. Sau đó file ghi email cấp phép cho ai muốn xin quyền. Lập trường mặc định trong phần chú thích là "không". Các luật bên dưới tạo ngoại lệ bằng cách không nhắc tên một số crawler.
Đó là điểm khéo léo. Trong robots.txt, crawler có nhóm riêng chỉ tuân theo nhóm đó. Crawler không có nhóm riêng tuân theo User-agent: *. Nhóm wildcard của Guardian chỉ chặn vài đường dẫn quản lý, nên mọi crawler AI không được nhắc tên đều được phép. Danh sách chặn là một nhóm dài khoảng 37 user agent dùng chung một dòng Disallow: /. Không có tên trong danh sách đó chính là sự cho phép.
Từng crawler một
| Crawler | Kết quả | Luật áp dụng | Nguồn luật |
|---|---|---|---|
| GPTBot | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| OAI-SearchBot | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| ChatGPT-User | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| ClaudeBot | Bị chặn | Disallow: / | nhóm riêng |
| Claude-SearchBot | Bị chặn | Disallow: / | nhóm riêng |
| Claude-User | Bị chặn | Disallow: / | nhóm riêng |
| PerplexityBot | Bị chặn | Disallow: / | nhóm riêng |
| Perplexity-User | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| Google-Extended | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| Googlebot | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| bingbot | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| Applebot | Cho phép | Full content access; 48 path rules (/sendarticle/, /Users/, /users/, ...) | User-agent: * |
| Applebot-Extended | Bị chặn | Disallow: / | nhóm riêng |
| Meta-ExternalAgent | Bị chặn | Disallow: / | nhóm riêng |
| CCBot | Bị chặn | Disallow: / | nhóm riêng |
| Bytespider | Bị chặn | Disallow: / | nhóm riêng |
| Amazonbot | Bị chặn | Disallow: / | nhóm riêng |
| DuckAssistBot | Bị chặn | Disallow: / | nhóm riêng |
Related: how AI engines choose their sources
Google-Extended cũng được phép, nên nội dung Guardian có thể dùng cho Gemini. Googlebot được phép, nên tờ báo xuất hiện trên Google Search và AI Overviews. Applebot-Extended và CCBot (Common Crawl) bị chặn, cùng với Bytespider của ByteDance và Amazonbot của Amazon.
- Bot AI và LLM9/97 9 trên 97 bị chặn
- Công cụ tìm kiếm7/62 7 trên 62 bị chặn
- Công cụ SEO4/19 4 trên 19 bị chặn
- Bot mạng xã hội1/9 1 trên 9 bị chặn
- Bot của Google0/24 0 trên 24 bị chặn
- Scraper và bộ dữ liệu4/39 4 trên 39 bị chặn
- Dịch vụ đám mây2/3 2 trên 3 bị chặn
- Agent khác2/4 2 trên 4 bị chặn
Công cụ cũng phát hiện file chặn hẳn một số công cụ tìm kiếm: 7 trên 62, gồm Mojeek, PetalBot (Huawei), SeznamBot và crawler tìm kiếm mới của Amazon. Với một tờ báo Anh và Mỹ, các công cụ này ít quan trọng. Với doanh nghiệp bán hàng ở Cộng hòa Séc, chặn SeznamBot là sai lầm thật sự, và đó là lý do chúng tôi không bao giờ khuyên chép danh sách của nhà xuất bản mà không đọc kỹ.
Sự đánh đổi trong một câu
Một câu hỏi trong ChatGPT có thể được trả lời bằng liên kết Guardian. Cùng câu hỏi đó trong Claude hay Perplexity thì không, vì các trợ lý này được yêu cầu không tải trang Guardian, kể cả khi người dùng yêu cầu. Đó là ý nghĩa thật của chính sách AI chọn lọc: bạn chọn những khán giả AI nào có thể tìm thấy bạn.
Với một nhà xuất bản tin tức, đây là lựa chọn có lý. Đối tác trả tiền, ghi nguồn và dẫn link. Các bên khác thu thập mà không có thỏa thuận, và dữ liệu năm 2025 của Cloudflare cho thấy trao đổi này lệch thế nào: crawler của Anthropic được đo là tải hàng chục nghìn trang cho mỗi lượt người đọc gửi trả lại. Với hầu hết doanh nghiệp khác, phép tính ngược lại. Mỗi trợ lý bạn chặn là một nơi khách hàng tiềm năng đặt câu hỏi và nghe về đối thủ thay vì bạn.
Mặt kỹ thuật ở trạng thái tốt
- Đạtrobots.txt allows GooglebotNo rule in the User-agent: * group matches /
- ĐạtPage answers GooglebotHTTP 200 to the Googlebot smartphone user agent, after a redirect to https://www.theguardian.com/us
- ĐạtNo challenge or block pageThe response is the real page, not a challenge
- ĐạtPage is indexable (no noindex)Directives present but indexable: max-image-preview:large
- Cảnh báoCanonical points to this URLPoints to another URL: https://www.theguardian.com. Google will usually index that one instead
- ĐạtContent is in the HTML before JavaScript21,829 characters of text are present without JavaScript.
Kết luận của công cụ: Crawlable and indexable: Googlebot can fetch this page and may index it.
Googlebot nhận HTTP 200 sạch và trang có nhiều nội dung hiển thị trước JavaScript. Cảnh báo duy nhất là canonical: trang chủ chuyển khách Mỹ sang /us, trang này khai báo trang chủ chính là canonical. Điều này bình thường với trang có nhiều phiên bản theo khu vực và không phải vấn đề.
77/100 · Hạng B (Good)
- AI Crawler Access836/9 tiêu chí đạt
- Technical SEO988/9 tiêu chí đạt
- Content Structure838/10 tiêu chí đạt
- Structured Data90/5 tiêu chí đạt
- Trust & Authority1004/4 tiêu chí đạt
26 tiêu chí đạt, 7 cảnh báo, 4 không đạt, 5 không áp dụng, trên tổng 42.
The Guardian đạt 77 điểm GEO, cao hơn nhiều so với The Times, vì công cụ của chúng tôi thực sự đọc được trang. Điểm yếu là dữ liệu có cấu trúc: công cụ không tìm thấy Schema.org trên trang chủ. Trang bài viết của các trang tin lớn thường có NewsArticle, nhưng trang chủ là nơi hệ thống AI biết nhà xuất bản là ai, và một khối Organization ở đó rất dễ thêm. Công cụ tạo schema của chúng tôi tạo xong trong một phút.
Cách xây chính sách chọn lọc cho website của bạn
- Ghi ra bạn muốn được ai trích dẫn. Hầu hết thương hiệu muốn ChatGPT, Google, Perplexity, Claude và Bing Copilot, vì đó là nơi người mua đặt câu hỏi.
- Tách huấn luyện khỏi tìm kiếm. Nếu phản đối huấn luyện, hãy chặn token huấn luyện (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) và để mở token tìm kiếm và người dùng. Bài bot huấn luyện và bot tìm kiếm liệt kê rõ từng loại.
- Dùng một nhóm có tên cho danh sách chặn. Nhiều dòng
User-agentcó thể dùng chung mộtDisallow: /, như Guardian. File gọn và dễ kiểm tra. - Giữ nhóm wildcard thông thoáng. Khi đó crawler mới mà bạn chưa quyết định sẽ được phép mặc định, và bạn xem xét khi nó xuất hiện.
- Kiểm tra lại khi đối tác thay đổi. Một thỏa thuận kết thúc hay bắt đầu nên thay đổi file ngay trong tuần đó.
Danh sách kiểm tra truy cập AI chọn lọc
Đánh dấu khi bạn đã làm xong. Không có dữ liệu nào được gửi đi.
Tự kiểm tra
Nghĩ câu trả lời trước, rồi mở để xem.
1GPTBot không được nhắc trong robots.txt của Guardian. Nó có bị chặn không?
Không. Crawler không có nhóm riêng tuân theo User-agent: *, và nhóm wildcard của Guardian chỉ chặn vài đường dẫn quản lý. Không bị nhắc tên chính là điều cho phép nó vào.
2Thông báo pháp lý đầu file có chặn được gì không?
Về kỹ thuật thì không. Crawler bỏ qua chú thích. Thông báo ghi nhận điều khoản của Guardian, quan trọng cho cấp phép và pháp lý, nhưng chỉ các luật bên dưới mới kiểm soát truy cập.
3Nếu chặn Claude-SearchBot, Claude còn trích dẫn được trang bạn không?
Claude sẽ không tải trang cho tìm kiếm. Claude-User xử lý trang người dùng yêu cầu, nên Guardian chặn cả nó. Chặn cả hai trên thực tế loại trang của bạn khỏi câu trả lời của Claude.
Nguồn: robots.txt và trang chủ do AI Crawler Check tải vào 17 tháng 10, 2026. Hợp tác: Guardian Media Group, 14/2/2025. Dữ liệu thu thập trên lượt giới thiệu: Cloudflare, tháng 8/2025. Chúng tôi mô tả một file công khai và không biết điều khoản thỏa thuận ngoài những gì các công ty đã công bố.
So sánh năm chiến lược của nhà xuất bản
Cùng một công cụ, cùng một ngày, năm cách trả lời câu hỏi "AI có được đọc nội dung của chúng tôi không?".
| Trang | Bot AI bị chặn | Điểm AI Visibility | Điểm GEO | Chiến lược |
|---|---|---|---|---|
| The New York Times | 25/97 | 29 | 40 | Chặn gần hết AI, cấp phép cho Amazon |
| 97/97 | 3 | 25 | Chặn mọi crawler, cấp phép qua hợp đồng | |
| The Guardian (bài này) | 9/97 | 54 | 77 | Cho đối tác (OpenAI), chặn phần còn lại |
| BBC | 15/97 | 64 | 82 | Chặn AI trừ một mục thương mại |
| Wikipedia | 0/97 | 73 | 55 | Mở cho tất cả, bán API nhanh hơn |
