The New York Times chặn crawler AI như thế nào

The New York Times là tờ báo nổi bật nhất trong cuộc tranh cãi giữa AI và báo chí. Tờ báo kiện OpenAI và Microsoft vào tháng 12/2023, cấp phép nội dung cho Amazon vào tháng 5/2025, và file robots.txt hiện ghi tên 69 user agent. Chúng tôi chạy AI search visibility check trên nytimes.com để xem chính sách đó trông như thế nào đối với một crawler, và tờ báo phải trả giá gì trên tìm kiếm AI.

• 29/100Điểm AI Visibility (Critical)
• 25/97Bot AI bị chặn
• 10/14Bot Tier 1 bị chặn
• 49/257Tổng bot bị chặn
• 40/100Điểm GEO

Tóm tắt nhanh

The Times chặn 25 trên 97 crawler AI và LLM mà chúng tôi theo dõi, bao gồm toàn bộ crawler của OpenAI, Anthropic và Perplexity. Tờ báo cũng chặn Google-Extended, nên nội dung không thể được dùng để huấn luyện hoặc làm nguồn cho Gemini. Nhưng tờ báo không chặn Googlebot, nhờ đó vẫn có mặt trong kết quả Google thông thường và trong AI Overviews. Và có một crawler AI gần như được mở hoàn toàn: Amazon, công ty duy nhất trong danh sách có hợp đồng cấp phép công khai.

Kết quả là nytimes.com có Điểm AI Visibility 29/100 (Critical). Đây là con số thấp, nhưng không phải lỗi. Điểm này đo mức độ hiển thị của một trang với trợ lý AI. The Times đã quyết định không muốn hiển thị với phần lớn các trợ lý đó trừ khi họ trả tiền. Câu hỏi đáng giá là lựa chọn này tốn bao nhiêu, và ai nên học theo.

File robots.txt thực sự nói gì

File mở đầu bằng một thông báo pháp lý chứ không phải luật thu thập dữ liệu. Nội dung chỉ dành cho mục đích cá nhân, phi thương mại, và việc dùng nội dung để phát triển "phần mềm, machine learning, trí tuệ nhân tạo (AI) và/hoặc mô hình ngôn ngữ lớn (LLM)" bị cấm nếu không có sự cho phép bằng văn bản. File cũng dẫn Điều 4 của Chỉ thị EU về Bản quyền trong Thị trường Kỹ thuật số Chung, ngoại lệ khai thác văn bản và dữ liệu mà chủ sở hữu quyền ở châu Âu có thể từ chối bằng hình thức máy đọc được. Robots.txt là một trong những nơi các nhà xuất bản châu Âu thực hiện việc từ chối đó.

Sau thông báo là ba khối luật:

• Một nhóm chung cho User-agent: * và Googlebot, với hàng chục luật đường dẫn để giữ crawler tránh xa máy chủ quảng cáo, trang đăng nhập, thanh toán và kết quả tìm kiếm. Đây là luật quản lý thông thường, không phải chính sách AI.
• Một danh sách dài các nhóm có tên, kết thúc bằng Disallow: /. Đây chính là chính sách AI. Mỗi crawler AI lớn được gọi tên riêng thay vì bị bắt bằng wildcard.
• Ba ngoại lệ hẹp: một bot quảng cáo được phép ở mọi nơi, và bot xem trước của Facebook, X (Twitter) và Reddit chỉ được phép trên các URL có tham số chia sẻ của tờ báo, để liên kết được chia sẻ vẫn hiện tiêu đề và hình ảnh.

Gọi tên từng bot là cách viết cẩn thận hơn. Chặn bằng wildcard sẽ chặn luôn Googlebot, Bingbot và mọi công cụ SEO. Nhóm có tên chỉ chặn những gì bạn liệt kê, và vì nhóm có tên thay thế nhóm wildcard đối với crawler đó, mỗi bot nhận đúng bộ luật viết cho nó.

Từng crawler một

Đây là kết quả cho 18 crawler mà chủ website hỏi nhiều nhất. "Nhóm riêng" nghĩa là The Times viết luật cho bot đó. "User-agent: *" nghĩa là bot dùng nhóm wildcard.

Có ba phát hiện nổi bật.

Related: how AI engines choose their sources

1. Bot tìm kiếm bị chặn cùng với bot huấn luyện

Nhiều nhà xuất bản chặn crawler huấn luyện (GPTBot, ClaudeBot, CCBot) nhưng giữ lại crawler tìm kiếm vốn đưa người đọc quay về, để bài viết vẫn được trích dẫn trong ChatGPT search và Claude. The Times không phân biệt như vậy. OAI-SearchBot, Claude-SearchBot và PerplexityBot đều bị chặn, các trình tải theo yêu cầu người dùng như ChatGPT-User, Claude-User và Perplexity-User cũng vậy. Thông điệp nhất quán: không có hợp đồng thì không được truy cập, cho bất kỳ mục đích nào.

Có một lưu ý cho nhóm cuối. Tài liệu của chính Perplexity nói Perplexity-User "thường bỏ qua luật robots.txt" vì có người yêu cầu trang đó. Một dòng Disallow cho nó là tuyên bố ý định, không phải ổ khóa. Nếu nhà xuất bản thật sự cần chặn, phải chặn ở firewall hoặc CDN, và đó cũng chính là nơi The Times hành động (xem bài kiểm tra Googlebot bên dưới).

2. Amazon là ngoại lệ, khớp với hợp đồng

Amazonbot có nhóm riêng với đúng một luật, Full content access; 1 path rule (/wirecutter/). Luật này giữ Amazon tránh khỏi Wirecutter, mục mua sắm liên kết của tờ báo, và cho phép đọc mọi thứ khác. Tháng 5/2025, The Times công bố hợp đồng cấp phép nhiều năm với Amazon cho nội dung tòa soạn, NYT Cooking và The Athletic, dùng cho các sản phẩm như Alexa, với giá trị được báo cáo khoảng 20 đến 25 triệu USD mỗi năm. Robots.txt là mặt kỹ thuật của thỏa thuận thương mại đó: công ty AI duy nhất có hợp đồng là crawler duy nhất còn được vào.

Google có một ngoại lệ tương tự nhưng hẹp hơn. Google-CloudVertexBot, crawler cho các agent Vertex AI mà chủ website hoặc khách hàng cấu hình, bị chặn trừ /wirecutter/ và /athletic/. Công cụ của chúng tôi đánh dấu là một phần.

3. File vẫn còn token đã ngừng dùng

Công cụ phát hiện 2 token lỗi thời: anthropic-ai và claude-web. Anthropic đã ngừng ghi nhận chúng sau khi gộp crawler thành ClaudeBot, Claude-User và Claude-SearchBot. The Times cũng chặn các tên hiện tại nên không có lỗ hổng. Nhưng một file dài như vậy dễ tích tụ dòng chết, và dòng chết khiến khó thấy dòng còn hiệu lực có đúng hay không. Nếu bạn sao chép danh sách của một nhà xuất bản, hãy kiểm tra lại trước.

Biểu đồ cho thấy chính sách được nhắm rất chính xác. 25 crawler AI và 15 trên 39 scraper bị chặn, trong khi 24 trên 24 crawler của Google và 61 trên 62 công cụ tìm kiếm vẫn vào được. Công cụ tìm kiếm duy nhất bị chặn là Applebot-Extended, token từ chối huấn luyện của Apple. Bản thân Applebot, dùng cho Siri và Spotlight, vẫn được phép.

Bức tường thứ hai: Googlebot gặp thử thách chống bot

Robots.txt chỉ là một nửa câu chuyện. Bài kiểm tra khả năng thu thập dữ liệu của chúng tôi còn tải trang chủ dưới danh nghĩa Googlebot và kiểm tra thứ thực sự trả về.

• Đạtrobots.txt allows GooglebotNo rule in its own Googlebot group matches /
• Không đạtPage answers GooglebotHTTP 403 to the Googlebot smartphone user agent. A firewall, CDN or rate limit is refusing it.
• Không đạtNo challenge or block pageDataDome challenge was served instead of the page
• Không đọc đượcPage is indexable (no noindex)Page not read
• Không đọc đượcCanonical points to this URLPage not read
• Không đọc đượcContent is in the HTML before JavaScriptPage not read

Kết luận của công cụ: Not crawlable: the page returns HTTP 403 to Googlebot.

Yêu cầu của chúng tôi mang user agent của Googlebot nhưng xuất phát từ máy chủ của chúng tôi, không phải dải IP công khai của Google. Lớp bảo vệ bot của trang (công cụ nhận diện là thử thách DataDome) coi đó là Googlebot giả và từ chối. Đây là hành vi đúng. Googlebot thật được xác minh qua reverse DNS, và mạo danh Googlebot là một trong những thủ thuật scraping phổ biến nhất. Kết quả cho thấy The Times không chỉ dựa vào robots.txt. Bot phớt lờ file hoặc giả làm Google sẽ gặp bức tường thứ hai ở tầng biên.

Với website của bạn, bài học có hai mặt. Một lớp quản lý bot nghiêm ngặt như vậy là cách thực thi chính sách, nhưng cũng là cách các trang vô tình chặn crawler thật. Nếu bật nó, hãy xác nhận bằng URL Inspection trong Search Console rằng Googlebot thật vẫn nhận mã 200. Hướng dẫn về firewall vô tình chặn crawler AI trình bày các bước kiểm tra.

Trang chủ đạt bao nhiêu điểm sẵn sàng cho tìm kiếm AI

Điểm GEO bị giới hạn ở 40 vì robots.txt chặn chính các crawler cung cấp dữ liệu cho câu trả lời AI. Giới hạn này là kết quả có chủ đích của chính sách. Điểm nội dung và dữ liệu có cấu trúc thấp vì một lý do khác: công cụ của chúng tôi nhận về trang thử thách chống bot thay vì trang thật, nên không đọc được tiêu đề, schema hay nội dung. Người đọc trên trình duyệt thấy một trang chủ phong phú. Crawler không có hợp đồng thấy một bức tường. Toàn bộ chiến lược nằm gọn trong một phép đo.

Chính sách này tốn gì, và đổi lại được gì

Chặn bot tìm kiếm AI có cái giá của nó. Khi ai đó hỏi ChatGPT, Claude hay Perplexity về một tin do The Times đưa đầu tiên, các trợ lý này không tải được bản gốc, nên sẽ trích dẫn bên tóm tắt lại. Số liệu năm 2025 của Cloudflare cho thấy vì sao nhà xuất bản chấp nhận đánh đổi: nền tảng AI thu thập nhiều trang hơn rất nhiều so với lượng người đọc gửi trả lại. Cloudflare ghi nhận tỷ lệ thu thập trên lượt giới thiệu của Anthropic ở mức hàng chục nghìn trên một, của OpenAI ở mức hàng trăm trên một, trong khi tìm kiếm truyền thống gửi người đọc về với tỷ lệ cao hơn nhiều. Với mô hình kinh doanh thuê bao, một crawler đọc hết mọi thứ mà gần như không trả lại người đọc là chi phí, không phải kênh tăng trưởng.

Đổi lại, chính sách tạo ra đòn bẩy. Vụ kiện của The Times cho rằng kho lưu trữ đã bị dùng để huấn luyện mà không xin phép. Một file robots.txt gọi tên và từ chối từng crawler, kèm thông báo bảo lưu quyền khai thác văn bản và dữ liệu, ghi nhận rằng sự cho phép đã bị từ chối. Hợp đồng với Amazon chứng minh nội dung có giá thị trường. Kết hợp lại, "AI dùng nội dung của chúng tôi" trở thành "AI trả tiền cho nội dung của chúng tôi, hoặc không có nó".

Bạn có nên làm giống The New York Times?

Gần như chắc chắn không nên sao chép toàn bộ. The Times có thể chấp nhận vô hình trong câu trả lời AI vì người đọc tìm đến tờ báo bằng tên, tờ báo có đội pháp lý và có người mua giấy phép. Hầu hết doanh nghiệp ở vị trí ngược lại: được trợ lý AI trích dẫn là cách khách hàng mới tìm thấy họ. Hãy dùng The Times như một mô hình tham khảo, không phải mẫu sao chép:

• Quyết định theo mục đích, không theo công ty. Huấn luyện, tìm kiếm và tải theo yêu cầu người dùng là ba việc khác nhau. Hướng dẫn chặn huấn luyện AI nhưng cho phép tìm kiếm AI trình bày con đường trung gian mà phần lớn thương hiệu nên chọn.
• Gọi tên crawler rõ ràng. Không bao giờ dùng Disallow wildcard để chặn AI, nếu không bạn sẽ chặn luôn Google và Bing.
• Ghi điều khoản vào file. Một dòng chú thích bảo lưu quyền khai thác văn bản và dữ liệu không tốn gì và ghi nhận ý định của bạn.
• Thực thi ở tầng biên nếu quan trọng. Robots.txt là lời đề nghị. Luật firewall mới là ổ khóa.
• Kiểm tra lại sau mỗi thay đổi. Một lượt AI bot crawlability test chỉ mất 30 giây.

Nguồn: robots.txt và trang chủ được AI Crawler Check tải vào 17 tháng 10, 2026. Hợp đồng cấp phép: The New York Times, 29/5/2025. Dữ liệu thu thập trên lượt giới thiệu: Cloudflare, tháng 8/2025. Hành vi của Perplexity-User: tài liệu crawler của Perplexity. Phạm vi Google-Extended: Google Search Central. Nghiên cứu này mô tả một file công khai và một trang công khai. Đây không phải tư vấn pháp lý và không đánh giá vụ kiện nào.