Сайты и SEO2 мин чтения
robots.txt и sitemap.xml: ошибки, из-за которых страницы выпадают из индекса
Одна лишняя строка в robots.txt способна закрыть от индексации весь раздел. Разбираем частые ошибки в robots и sitemap и как их проверять.
robots.txt управляет обходом, sitemap.xml подсказывает, какие страницы обходить в первую очередь. Ошибки в этих двух файлах — одна из самых частых причин, по которой нужные страницы месяцами не появляются в поиске, а ненужные, наоборот, засоряют выдачу.
Ошибки в robots.txt
- Disallow: / остался после переноса с тестового сервера — закрыт весь сайт.
- Закрыты каталоги со стилями и скриптами — робот видит страницу «сломанной».
- Правило для конкретного бота стоит после общего «*» и не применяется.
- robots.txt используют, чтобы скрыть страницу из выдачи, — но закрытая от обхода страница всё равно попадает в индекс по ссылкам, без сниппета. Для скрытия нужен noindex.
- Файл отдаёт 404 или 500 — часть роботов трактует это как запрет обхода.
Ошибки в sitemap.xml
| Ошибка | Последствие |
|---|---|
| URL с редиректом или 404 | Робот теряет доверие к карте целиком |
| В карте страницы, закрытые noindex или canonical на другой адрес | Противоречивые сигналы |
| lastmod ставится датой сборки для всех страниц | Поисковик перестаёт верить полю |
| Карту не обновляют после добавления раздела | Новые страницы обходятся медленно |
| Больше 50 000 URL в одном файле | Нужен индекс карт (sitemap index) |
Как проверить
- Откройте site.ru/robots.txt в браузере — файл должен отдаваться со статусом 200.
- В вебмастере используйте инструмент проверки robots.txt для конкретных адресов.
- Прогоните sitemap через валидатор и через отчёт «Файлы Sitemap» в вебмастере.
- Сверьте: адреса из карты не закрыты robots, не noindex, отвечают 200, canonical на себя.
Частые вопросы
- Нужен ли robots.txt, если скрывать нечего?
- Да, хотя бы с указанием адреса sitemap и открытым доступом. Отсутствие файла — не ошибка, но его наличие удобно для управления обходом в будущем.
- Можно ли закрыть в robots.txt дубли с параметрами?
- Можно, но лучше canonical: закрытая robots страница не передаёт вес на основную, а просто выпадает. Canonical объединяет сигналы.
- Как быстро поисковик реагирует на изменения robots.txt?
- Файл перечитывается при обходе, обычно в течение суток. После снятия запрета переиндексация раздела занимает от нескольких дней до пары недель.
robots.txtsitemapиндексациятехнический SEO
Похожая задача в вашем проекте?
Разберём вашу ситуацию и пришлём оценку по этапам — без обязательств и общих слов.
Обсудить задачу
