Reddit chặn mọi crawler. Vậy sao vẫn có mặt trên Google?

File robots.txt của Reddit chỉ dài 9 dòng và nói đúng một điều: User-agent: * rồi Disallow: /. Đọc theo nghĩa đen, nó chặn mọi crawler trên internet, kể cả Google. Vậy mà các chủ đề Reddit vẫn xếp hạng trên Google mỗi ngày và xuất hiện trong câu trả lời AI của Google. Chúng tôi chạy GPTBot and ClaudeBot access check trên reddit.com để giải thích khoảng cách này, vì đây là ví dụ rõ nhất trên web về một trang mà robots.txt là tuyên bố chính sách, còn kiểm soát truy cập thật nằm ở chỗ khác.

• 3/100Điểm AI Visibility (Critical)
• 97/97Bot AI bị chặn
• 14/14Bot Tier 1 bị chặn
• 257/257Tổng bot bị chặn
• 25/100Điểm GEO

Tóm tắt nhanh

Công cụ của chúng tôi đọc file đúng như một crawler tuân thủ quy tắc, và kết luận là tuyệt đối: 257 trên 257 bot bị chặn, mọi nhóm đều 100%, Điểm AI Visibility 3/100. Trên giấy, reddit.com vô hình với Google, Bing, ChatGPT, Claude, Perplexity và tất cả các bên khác.

Trên thực tế, Reddit là một trong những trang hiển thị nhiều nhất trên tìm kiếm. Lời giải thích là thương mại. Tháng 2/2024, Reddit ký hợp đồng cấp phép nội dung AI với Google, được báo cáo khoảng 60 triệu USD mỗi năm, và tháng 5/2024 công bố hợp tác dữ liệu với OpenAI. Đối tác nhận nội dung Reddit qua quyền truy cập được cấp phép chứ không phải thu thập theo luật robots.txt. Khi công bố file chặn toàn bộ vào giữa năm 2024, Reddit cho biết sẽ tiếp tục giới hạn tốc độ và chặn các bot lạ không có thỏa thuận. File công khai là lời "không" cho mọi người. Hợp đồng mới là lời "có".

Toàn bộ file

Đây là toàn bộ nội dung chúng tôi tải về, không bỏ sót gì:

Không có nhóm riêng, không có ngoại lệ, và file không khai báo sitemap. Mọi bot, bất kể mục đích, nhận cùng một câu trả lời. Sự đơn giản đó là có chủ đích. Một danh sách bot có tên sẽ dẫn tới câu hỏi "sao lại là họ mà không phải chúng tôi". Một luật wildcard duy nhất nói rằng quyết định hoàn toàn không nằm trong file này.

Crawler tuân thủ quy tắc nhìn thấy gì

Mọi dòng đều ghi bị chặn và mọi nguồn đều là User-agent: *, kể cả Googlebot. Với bất kỳ trang nào khác, đây là thảm họa. Đó chính là lỗi chúng tôi cảnh báo trong bài những lỗi robots.txt chặn AI: hai dòng chép từ diễn đàn xóa trang khỏi mọi công cụ tìm kiếm cùng lúc.

Tầng biên đồng ý với file

Robots.txt là tự nguyện. Để xem Reddit có thực thi không, công cụ của chúng tôi tải trang chủ dưới danh nghĩa Googlebot từ máy chủ của mình.

• Không đạtrobots.txt allows GooglebotDisallow: / (line 8, the User-agent: * group)
• Không đạtPage answers GooglebotHTTP 403 to the Googlebot smartphone user agent. A firewall, CDN or rate limit is refusing it.
• ĐạtNo challenge or block pageThe response is the real page, not a challenge
• Không đọc đượcPage is indexable (no noindex)Page not read
• Không đọc đượcCanonical points to this URLPage not read
• Không đọc đượcContent is in the HTML before JavaScriptPage not read

Kết luận của công cụ: Not crawlable: robots.txt blocks Googlebot from this URL.

Yêu cầu bị từ chối với HTTP 403. Khi chúng tôi tải chính robots.txt bằng user agent trình duyệt thông thường, chúng tôi không nhận được file mà nhận một trang tiêu đề "Blocked", báo rằng yêu cầu bị chặn "do chính sách mạng". Reddit không dựa vào việc crawler tự giác tuân theo file. Lưu lượng tự động không được nhận diện bị chặn ở tầng biên trước khi đến bất kỳ trang nào. Các file llms.txt và llms-full.txt cũng trả về 403 thay vì 404, lại là bức tường đó.

Vậy Google lập chỉ mục Reddit bằng cách nào? Google phân biệt được crawler thật với bản giả của chúng tôi: yêu cầu của Googlebot thật đến từ dải IP công khai của Google và vượt qua kiểm tra reverse DNS, và mạng của Reddit nhận ra chúng. Một thử nghiệm độc lập công bố năm 2024, sau khi file thay đổi, phát hiện Reddit trả nội dung robots.txt khác nhau cho các bên yêu cầu khác nhau, và người thử nghiệm mô tả đây là tuyên bố công khai hơn là giới hạn thực tế. Chúng tôi chỉ kiểm tra được những gì crawler bên ngoài nhận về, và đó là lời từ chối dứt khoát.

Kiểm tra GEO, và vì sao chạm đáy

Điểm bị giới hạn ở 25 vì robots.txt chặn cả công cụ tìm kiếm lẫn bot tìm kiếm AI cho URL này. Khi cả robots.txt và tầng biên đều từ chối, không đọc được nội dung, schema hay tiêu đề nào. Đó là điểm số đúng cho những gì một crawler không có giấy phép nhìn thấy.

Vì sao Reddit làm được còn bạn thì không

Nội dung Reddit chủ yếu do người dùng viết, có nhu cầu rất cao làm dữ liệu huấn luyện AI, và công ty có vài khách hàng lớn sẵn sàng trả tiền. Kết hợp lại, chặn tất cả là một chiến lược bán hàng: sự khan hiếm trong file công khai tạo ra giá trị cho giấy phép riêng. Hồ sơ năm 2024 của Reddit mô tả các thỏa thuận cấp phép dữ liệu có tổng giá trị hơn 200 triệu USD.

Hầu như không trang nào khác có vị thế đó. Nếu robots.txt của bạn ghi User-agent: * / Disallow: /, bạn không có chiến lược cấp phép. Bạn có một trang mà Google, Bing và mọi trợ lý AI được yêu cầu bỏ qua, và không ai trả tiền cho bạn vì điều đó. Chúng tôi gặp đúng file này trên các trang staging bị đưa lên production, trên WordPress có tick "ngăn công cụ tìm kiếm", và trên các trang mà lập trình viên chép file của Reddit vì nghĩ đó là chuẩn mực.

Năm bài học từ file của Reddit

1. Robots.txt không phải kiểm soát truy cập. Nó cho crawler lịch sự biết bạn muốn gì. Việc thực thi diễn ra ở CDN, firewall hoặc bộ giới hạn tốc độ. Reddit có cả hai, và chúng thống nhất.
2. Disallow toàn bộ chỉ an toàn khi bạn có lối vào khác cho crawler bạn cần. Lối vào của Reddit là hợp đồng và truy cập đã xác minh. Không có điều đó, bạn đơn giản là bị gỡ khỏi chỉ mục.
3. Chính sách cũng nên nằm trong chú thích. File của Reddit dẫn link Chính sách Nội dung Công khai và chương trình nghiên cứu, nên ai đọc cũng biết quyền truy cập đến từ đâu.
4. Kiểm tra từ bên ngoài. Thứ đội của bạn thấy trên trình duyệt không phải thứ crawler thấy. File của Reddit chỉ đọc được với một số bên yêu cầu, và lần tải bằng trình duyệt của chúng tôi gặp trang chặn.
5. Đừng chép file của thương hiệu nổi tiếng. Robots.txt của một thương hiệu lớn phản ánh hợp đồng của chính họ. Hãy bắt đầu từ mục tiêu của bạn, rồi tạo file cho mục tiêu đó.

Nguồn: các yêu cầu robots.txt, trang chủ và llms.txt do AI Crawler Check thực hiện vào 17 tháng 10, 2026. Thỏa thuận với Google: Reuters, 22/2/2024. Thay đổi robots.txt và chính sách bot: TechCrunch, 25/6/2024. Khác biệt phản hồi: MERJ, tháng 7/2024.