Практическое руководство · Техническое SEO
Robots.txt или noindex: как не перепутать обход и индексирование
Черновик доступен по публичному URL. Команда добавляет Disallow в robots.txt и одновременно noindex в HTML, считая это двойной защитой. Но если робот не обходит URL, он не может прочитать noindex.
Почему Disallow и noindex не дублируют друг друга
Мини-кейс: на странице результатов внутреннего поиска стоит noindex, а /search/ одновременно закрыт Disallow. Робот не может получить HTML и прочитать директиву. Если цель - исключить публичные результаты из поиска, проверьте, какой механизм действительно доступен на этом URL. Если же речь о личном кабинете, SEO-директива вообще не должна играть роль защиты: нужен вход. Для PDF проверьте X-Robots-Tag непосредственно в ответе файла, в том числе если файл отдает CDN. После исправления дождитесь нового обхода и не трактуйте старый поисковый статус как текущий HTTP-ответ.
Для публичной HTML-страницы с noindex робот должен получить ее ответ, иначе директива останется непрочитанной. У PDF нет HTML head, поэтому проверяйте X-Robots-Tag в HTTP-ответе самого файла. Черновик с коммерческими ценами не защищается ни meta, ни robots.txt: случайный посетитель все равно откроет его по прямому адресу. Для него нужна авторизация, а SEO-настройка может быть лишь дополнительным сигналом.
Проверьте точный ответ и правило robots
Запишите цель: не дать роботу скачать ресурс, не показывать страницу в поиске или ограничить доступ посторонним. Это разные задачи с разными техническими средствами.
Проверьте robots.txt по точному пути и user-agent, HTML meta robots, HTTP X-Robots-Tag, код ответа и доступность без авторизации. Не полагайтесь на одну проверку в браузере.
| URL или случай | Наблюдение | Что проверить |
|---|---|---|
| Публичная страница без поиска | noindex | Робот видит HTML |
| PDF без поиска | X-Robots-Tag | Директива в ответе |
| Личный документ | Авторизация | Реальное закрытие доступа |
Отделите поиск от защиты данных
Robots.txt управляет обходом, а noindex - возможностью включения в поиск после получения страницы. Для непубличных данных ни то ни другое не заменяет авторизацию.
Выберите meta, X-Robots-Tag или доступ
Если публичная HTML-страница должна быть доступна пользователю, но не индексироваться, робот должен иметь возможность прочитать noindex. Для файла вроде PDF применяйте X-Robots-Tag. Для приватного материала закрывайте доступ.
URL с Disallow может оставаться известным поиску по внешней ссылке. Поэтому запрет обхода не надо трактовать как гарантированное удаление результата.
Для публичной HTML-страницы с noindex робот должен иметь доступ к ответу, чтобы прочитать директиву. Для закрытого черновика используйте контроль доступа; robots.txt не защищает сведения от человека с прямой ссылкой. PDF проверяйте по HTTP-заголовку самого файла.
| Ситуация | Действие | Контроль |
|---|---|---|
| Disallow + noindex | Противоречие | Робот не читает тег |
| Noindex без Disallow | Обычно достижим | Проверить ответ |
| Пароль | Непублично | Не опираться на SEO-директивы |
Не блокируйте чтение нужной директивы
Не закрывайте в robots.txt ресурс, который нужен для корректного рендера индексируемых страниц, без отдельной проверки. Изменения проверяйте на одном URL до широкого шаблона.
Проверьте страницу и PDF в инструментах
После изменения проверьте точный HTTP-ответ и видимую роботу директиву. В инструментах поисковой системы смотрите статус URL, помня, что обновление статуса не мгновенно.
Проверьте URL в трех режимах: обычный посетитель, поисковый робот и авторизованный редактор. Сохраните ответ, правило robots и мета- или HTTP-директиву. Если доступ закрыт, убедитесь, что приватное содержимое не осталось в кеше или общедоступном файле.
Проверка результата
- Намерение страницы определено
- Сохранена выборка URL до исправления
- HTTP-ответ и содержимое сверены
- Внутренние ссылки проверены
- Исключения учтены
- Проверка после релиза записана
Вопросы по теме
Robots.txt удаляет страницу из поиска?
Нет гарантии. Он ограничивает обход, а адрес может быть известен по ссылкам.
Можно поставить noindex на PDF?
Да, через HTTP X-Robots-Tag, если файл доступен роботу для чтения заголовка.
Можно скрыть секретный URL через noindex?
Нет. Для секретных данных нужна настоящая проверка доступа.
Читайте также
Источники и методика
Функции поисковых систем и сервисов сверены с официальной документацией 18 октября 2026 года. Последовательность действий, таблицы и учебные примеры подготовлены редакцией TOBIZ PRO. Числа и вымышленные объекты в примерах не являются результатами клиентских проектов.
- Google: robots.txt specification
Правила обхода и обработка ответа robots.txt.
- Google: robots meta tag and X-Robots-Tag
Управление индексированием HTML и файлов HTTP-заголовком.
Разберите задачу на своем сайте
Задача первого разбора - выбрать механизм доступа для конкретного типа url. Для разговора достаточно адреса сайта и короткого описания ситуации.
Если нужен исполнитель, посмотрите техническую настройку SEO-продвижения и состав работ.
Получить разбор