BBC chặn AI, trừ một đường dẫn thương mại

File robots.txt của BBC mở đầu bằng tuyên bố chống AI rõ ràng nhất trong các nhà xuất bản lớn: "Hãy dùng trang của chúng tôi như một con người, không phải robot." Sau đó file loại trừ huấn luyện, RAG (sinh nội dung có truy xuất), tìm kiếm bằng AI, AI dạng agent và cả việc tóm tắt bằng AI cho mục đích cá nhân. Vậy mà AI crawler access test lại phát hiện crawler AI của OpenAI và Google được phép trên một phần của bbc.com. Case study này giải thích ngoại lệ đó và bài học về việc viết luật chính xác.

• 64/100Điểm AI Visibility (Moderate)
• 15/97Bot AI bị chặn
• 3/14Bot Tier 1 bị chặn
• 33/257Tổng bot bị chặn
• 82/100Điểm GEO

Tóm tắt nhanh

bbc.com chặn hoàn toàn 15 trên 97 crawler AI và cho 5 crawler truy cập một phần. Điểm AI Visibility là 64/100 (Moderate), cao hơn bạn nghĩ khi đọc thông báo, vì file được viết theo từng đường dẫn. GPTBot, OAI-SearchBot, ChatGPT-User và Google-Extended đều nhận Disallow: / rồi Allow: /storyworks. Mọi thứ đều đóng với chúng, trừ một mục.

Mục đó là BBC StoryWorks, studio nội dung thương mại của BBC Studios, chuyên sản xuất nội dung có thương hiệu cho nhà quảng cáo. Nói đơn giản: BBC giữ AI tránh xa báo chí của mình, nhưng cho các trợ lý AI lớn nhất đọc nội dung mà thương hiệu đã trả tiền để đăng. Với nhà quảng cáo, được hiển thị trên ChatGPT và Gemini là một phần của thứ họ mua.

Thông báo, từng dòng một

Hầu hết nhà xuất bản viết một câu về AI. BBC liệt kê mọi hình thức sử dụng mà họ từ chối. File ghi: không scraping hay trích xuất có hệ thống; không dùng để huấn luyện hoặc tinh chỉnh mô hình AI; không RAG, tìm kiếm bằng AI, AI dạng agent hay grounding; không tạo bộ dữ liệu; không khai thác văn bản và dữ liệu theo Điều 4 chỉ thị bản quyền EU; và không tạo bản tóm tắt "cho mục đích riêng". File kết thúc: "TL;DR: Duyệt, đọc, xem, tận hưởng, như một con người."

Danh sách này quan trọng vì việc dùng AI đã tách thành nhiều công việc riêng biệt, và mỗi công ty AI gán các công việc đó cho các crawler khác nhau. Một thông báo chỉ nói "không huấn luyện" để ngỏ tranh cãi về tìm kiếm và grounding. BBC đóng mọi khoảng trống đó bằng văn bản, rồi củng cố bằng luật có tên cho từng crawler mà họ biết.

Related: how AI engines choose their sources

Từng crawler một

Có ba nhóm:

• Bị chặn ở mọi nơi: ClaudeBot, PerplexityBot, Perplexity-User, Meta-ExternalAgent, CCBot, Bytespider, Amazonbot và một loạt API scraping và tìm kiếm AI (Firecrawl, Diffbot, Exa, Tavily, You.com).
• Chỉ được phép trên /storyworks: GPTBot, OAI-SearchBot, ChatGPT-User và Google-Extended. Công cụ ghi nhận là một phần.
• Không được nhắc tên, nên áp dụng wildcard: Claude-SearchBot, Claude-User, DuckAssistBot và các agent mới hơn như của Mistral. Nhóm wildcard của BBC chỉ đặt luật quản lý, nên các crawler này đọc được trang.

Nhóm thứ ba là phát hiện đáng chú ý. BBC chặn ClaudeBot (crawler huấn luyện của Anthropic) theo tên, nhưng không chặn agent tìm kiếm và agent người dùng mới của Anthropic, vốn ra đời khi Anthropic tách việc thu thập theo mục đích. Một thông báo cấm tìm kiếm AI, nằm phía trên một file để sót một crawler tìm kiếm AI, là kết quả điển hình khi chính sách do một nhóm viết còn file do nhóm khác duy trì. Công cụ cũng phát hiện 2 token đã ngừng dùng (anthropic-ai, claude-web) vẫn còn trong file, cho thấy cùng một điều: danh sách được cập nhật thủ công khi tên mới xuất hiện, và có tên không bao giờ được thêm vào.

Ngoại lệ StoryWorks hoạt động thế nào

Theo chuẩn robots.txt (RFC 9309), khi cả Allow và Disallow cùng khớp một URL, luật cụ thể hơn, tức đường dẫn dài hơn, sẽ thắng. /storyworks/ dài hơn /, nên mọi URL trong StoryWorks được phép và mọi URL khác bị chặn. Ghi cả /storyworks và /storyworks/ bao phủ trang chính của mục, có và không có dấu gạch chéo cuối. Đây là ví dụ sạch và đúng về việc khoét một mục khỏi lệnh chặn toàn bộ. Bài so khớp mẫu trong robots.txt trình bày chi tiết quy tắc ưu tiên.

Mô hình này hữu ích cho mọi doanh nghiệp. Một công ty phần mềm có thể chặn huấn luyện AI trên tài liệu nhưng cho phép trang giá và trang sản phẩm. Một nhà bán lẻ có thể chặn đường dẫn tài khoản và thanh toán với mọi bot nhưng để mở trang sản phẩm. Luật theo đường dẫn cho phép bạn nói chính xác như vậy.

Sức khỏe kỹ thuật: rất tốt

• Đạtrobots.txt allows GooglebotNo rule in the User-agent: * group matches /
• ĐạtPage answers GooglebotHTTP 200 to the Googlebot smartphone user agent
• ĐạtNo challenge or block pageThe response is the real page, not a challenge
• ĐạtPage is indexable (no noindex)Directives present but indexable: noodp, noydir
• ĐạtCanonical points to this URLSelf-referencing: https://www.bbc.com
• ĐạtContent is in the HTML before JavaScript15,821 characters of text are present without JavaScript.

Kết luận của công cụ: Crawlable and indexable: Googlebot can fetch this page and may index it.

bbc.com vượt qua mọi bước kiểm tra Googlebot và đạt 82 điểm GEO, kết quả tốt nhất trong năm nhà xuất bản chúng tôi kiểm tra. Trang chủ render phía máy chủ, có canonical tự tham chiếu, có dữ liệu có cấu trúc và hiển thị nội dung thật mà không cần JavaScript. Dù BBC nghĩ gì về AI, trang của họ được xây đúng cách mà crawler AI và tìm kiếm đọc tốt nhất. Đáng ghi nhớ: chính sách AI nghiêm ngặt và SEO kỹ thuật tốt là hai quyết định riêng biệt.

Bối cảnh pháp lý

Tháng 6/2025, BBC đe dọa kiện Perplexity, yêu cầu ngừng thu thập nội dung BBC, xóa dữ liệu đang giữ và đề xuất bồi thường. Đây là động thái đầu tiên như vậy của đài này với một công ty AI. Perplexity phản bác các cáo buộc. File robots.txt chúng tôi kiểm tra gọi tên PerplexityBot và Perplexity-User và chặn cả hai. Giống The New York Times, một file chi tiết kèm thông báo bằng văn bản là bằng chứng về những gì nhà xuất bản đã từ chối, bất kể tòa án quyết định ra sao.

Bài học từ file của BBC

• Nói rõ điều bạn từ chối, theo từng hình thức sử dụng. Huấn luyện, tìm kiếm, grounding, agent và tóm tắt là khác nhau. Hãy nêu tên những gì bạn muốn nói.
• Dùng Allow để khoét từng mục. Disallow: / kèm Allow: /section/ là cách chính xác và theo chuẩn.
• Rà soát tên crawler mới mỗi quý. Các công ty AI thường tách và đổi tên crawler. File của BBC cho thấy rất dễ bị tụt lại. Danh bạ crawler AI của chúng tôi liệt kê mọi tên hiện hành.
• Giữ SEO kỹ thuật xuất sắc dù thế nào. Cấu trúc tốt giúp mọi crawler mà bạn cho phép.

Nguồn: robots.txt và trang chủ do AI Crawler Check tải vào 17 tháng 10, 2026. StoryWorks: BBC StoryWorks. Thư pháp lý: BBC News, 20/6/2025. Quy tắc ưu tiên: RFC 9309, Robots Exclusion Protocol.