Robots.txt
Robots.txt là tệp text ở root domain hướng dẫn web crawlers trang nào được crawl và trang nào không. Sử dụng User-agent, Allow, Disallow directives. Không phải cơ chế bảo mật — chỉ là hướng dẫn.
⚡Tại sao quan trọng
Robots.txt sai có thể block Google crawl toàn bộ site, hoặc để lộ URL nhạy cảm. File này cũng chỉ đường đến sitemap.xml.
🔍AiSEO kiểm tra thế nào
AiSEO tải và phân tích robots.txt, kiểm tra có block Googlebot không, xác minh sitemap reference, và phát hiện các lỗi cú pháp phổ biến.