Wikipedia để ngỏ cửa cho crawler AI

Mọi trang khác trong loạt bài này dùng robots.txt để ngăn AI. Wikipedia làm ngược lại. File của Wikipedia dài 712 dòng, dài nhất trong các trang chúng tôi kiểm tra, nhưng chỉ chặn 0 trên 97 crawler AI. Chúng tôi chạy AI crawlability checker trên en.wikipedia.org để cho thấy chính sách mở trông như thế nào, vì sao Wikipedia chọn nó dù tốn kém, và cách họ kiểm soát việc thu thập dữ liệu nặng mà không đóng cửa.

• 73/100Điểm AI Visibility (Good)
• 0/97Bot AI bị chặn
• 0/14Bot Tier 1 bị chặn
• 1/257Tổng bot bị chặn
• 55/100Điểm GEO

Tóm tắt nhanh

en.wikipedia.org cho phép 256 trên 257 bot chúng tôi đã kiểm tra. Mọi crawler AI, crawler tìm kiếm và agent theo yêu cầu người dùng đều đọc được trang bài viết, từ GPTBot và ClaudeBot đến PerplexityBot và Google-Extended. Bot duy nhất trong danh sách của chúng tôi bị chặn hoàn toàn là MJ12bot, và file giải thích lý do: nó "bị phát hiện gửi số lượng lớn" URL và "bỏ qua phản hồi giới hạn 429". Wikipedia chặn hành vi, không chặn mục đích.

Điểm AI Visibility là 73/100 (Good), cao nhất trong năm trang. Số điểm còn thiếu đến từ việc thiếu sitemap trang chủ và llms.txt, không phải do quyền truy cập.

Một file viết cho tải máy chủ, không phải cho chính sách AI

Phần lớn trong 712 dòng của Wikipedia không nói về AI. Chúng nói về tải máy chủ. File gồm ba loại luật:

• Chặn theo tên các công cụ có hành vi xấu. Công cụ sao chép trang và tải ngoại tuyến (HTTrack, WebCopier, WebZIP, wget) cùng các bot bỏ qua giới hạn tốc độ nhận Disallow: /, mỗi dòng kèm chú thích lý do.
• Độ trễ thu thập cho một crawler SEO nặng. SemrushBot nhận Crawl-delay: 5 kèm ghi chú rằng điều này giữ nó ở khoảng 20 yêu cầu mỗi giây trên mọi trang Wikimedia.
• Một nhóm wildcard bảo vệ các trang tốn kém. User-agent: * chặn /w/, /api/, /trap/ và các trang Special: trong hàng chục ngôn ngữ. Các trang này được tạo động và không cache, nên tốn hơn nhiều so với một bài viết. Trang bài viết dưới /wiki/ vẫn mở.

Chú thích phía trên nhóm wildcard tóm gọn triết lý: "Bot thân thiện, tốc độ thấp được chào đón xem trang bài viết, nhưng xin đừng xem các trang được tạo động." Không có mục AI nào, vì nội dung Wikipedia đã được cấp phép tự do theo Creative Commons. Bất kỳ ai cũng có thể tái sử dụng kèm ghi nguồn. Chặn AI trong robots.txt sẽ mâu thuẫn với giấy phép đó.

Từng crawler một

Mọi dòng đều được phép qua nhóm wildcard. "Luật đường dẫn" trong mỗi mục là các lệnh chặn trang tốn kém nêu trên, áp dụng như nhau cho mọi crawler.

Cái giá của việc mở cửa

Mở cửa không miễn phí. Tháng 4/2025, Wikimedia Foundation báo cáo băng thông tải đa phương tiện tăng 50% kể từ tháng 1/2024, chủ yếu do scraper tự động chứ không phải con người. Ít nhất 65% lưu lượng tốn tài nguyên nhất đến từ bot, dù bot chỉ chiếm khoảng 35% lượt xem trang. Bot thường yêu cầu các trang hiếm, không được cache mà con người ít khi xem, nên tốn kém hơn nhiều.

Tháng 10/2025, Foundation cho biết thêm lượt xem của con người giảm khoảng 8% so với cùng kỳ, một phần vì người dùng nhận câu trả lời từ bản tóm tắt AI và tính năng tìm kiếm xây dựng trên nội dung Wikipedia mà không truy cập trang. Đó chính là áp lực mà The New York Times đối phó bằng cách đóng cửa. Wikipedia đối phó theo cách khác.

Related: writing content AI engines can cite

Mở mặc định, trả tiền khi cần quy mô

Thay vì chặn crawler AI, Wikimedia bán một lối vào tốt hơn. Wikimedia Enterprise cung cấp cho doanh nghiệp quyền truy cập nội dung khối lượng lớn, ổn định qua API, không cần scraping. Tháng 1/2026, Foundation công bố Amazon, Meta, Microsoft, Mistral AI và Perplexity là đối tác Enterprise, cùng với Google và các bên khác. Nội dung vẫn miễn phí cho mọi người. Công ty cần nó ở quy mô công nghiệp trả tiền cho nguồn cấp hiệu quả thay vì dồn tải lên máy chủ công khai.

So với Reddit, vốn cũng kiếm tiền từ quyền truy cập AI: Reddit đóng file công khai và bán cánh cửa duy nhất, còn Wikipedia để cửa công khai mở và bán cánh cửa nhanh hơn. Cả hai đều hiệu quả vì cả hai có nội dung mà công ty AI cần. Bài học cho hầu hết website là bạn không phải chọn giữa "bị chặn" và "không quản lý". Bạn có thể mở cho mọi người mà vẫn bảo vệ các trang tốn kém.

Bài kiểm tra Googlebot và GEO thấy gì

• Đạtrobots.txt allows GooglebotNo rule in the User-agent: * group matches /
• Không đạtPage answers GooglebotHTTP 403 to the Googlebot smartphone user agent. A firewall, CDN or rate limit is refusing it.
• ĐạtNo challenge or block pageThe response is the real page, not a challenge
• Không đọc đượcPage is indexable (no noindex)Page not read
• Không đọc đượcCanonical points to this URLPage not read
• Không đọc đượcContent is in the HTML before JavaScriptPage not read

Kết luận của công cụ: Not crawlable: the page returns HTTP 403 to Googlebot.

Yêu cầu trang chủ mang user agent Googlebot của chúng tôi bị từ chối với HTTP 403. Giống nytimes.com và reddit.com, lý do là yêu cầu xuất phát từ máy chủ của chúng tôi, không phải dải IP của Google. Hạ tầng Wikimedia từ chối lưu lượng bot chưa xác minh tự xưng là crawler lớn, phù hợp với động thái năm 2025 giới hạn tốc độ và chặn scraper lạm dụng. Googlebot thật không bị ảnh hưởng.

Điểm GEO là 55. Quyền truy cập mạnh ở mức 88, còn điểm nội dung và dữ liệu có cấu trúc thấp vì URL được kiểm tra là cổng ngôn ngữ, không phải bài viết, và yêu cầu bị từ chối ở tầng biên. Bản thân các bài viết Wikipedia nằm trong số nguồn được trích dẫn nhiều nhất trong câu trả lời AI chính vì chúng mở, có cấu trúc, có nguồn và được cập nhật liên tục.

Bất kỳ trang nào cũng có thể học gì từ Wikipedia

1. Chặn hành vi xấu, không chặn cả nhóm. Bot bỏ qua phản hồi 429 đáng bị chặn. Bot đọc lịch sự và trích dẫn bạn thì không.
2. Bảo vệ các đường dẫn tốn kém. Kết quả tìm kiếm, bộ lọc, điều hướng đa chiều và khu vực quản trị tốn tài nguyên và vô giá trị khi lập chỉ mục. Hãy Disallow chúng cho mọi crawler.
3. Giải thích luật bằng chú thích. File của Wikipedia đọc như tài liệu hướng dẫn. Bên vận hành crawler thấy được bạn muốn gì và vì sao.
4. Dùng Crawl-delay ở nơi được tôn trọng. Một số crawler, gồm Bing và vài công cụ SEO, tuân theo. Google thì không, nên hãy quản lý tốc độ Googlebot trong Search Console.
5. Cung cấp lối vào tốt hơn nếu bạn có quy mô. Một nguồn cấp, API hoặc sitemap phục vụ nội dung với chi phí thấp tốt hơn cuộc chiến với scraper.

Nguồn: robots.txt và trang chủ do AI Crawler Check tải vào 17 tháng 10, 2026. Tác động của crawler: Wikimedia Diff, 1/4/2025. Xu hướng lượt xem: Wikimedia Diff, 17/10/2025. Đối tác Enterprise: Wikimedia Enterprise, 15/1/2026.