robots.txt
robots.txt — файл в корне сайта, которым владелец просит поисковых роботов не обходить отдельные разделы. Это рекомендация для робота, а не защита: закрытая страница остаётся доступной по прямой ссылке.
robots.txt — файл в корне сайта, которым владелец просит поисковых роботов не обходить отдельные разделы. Это рекомендация для робота, а не защита: закрытая страница остаётся доступной по прямой ссылке.