robots.txt

Загрузите robots.txt любого сайта: запреты, Sitemap, директивы Host и Clean-param.

Введите домен — сервис загрузит robots.txt, покажет сводку запретов, Sitemap и исходный код файла.