robots.txt: как настроить и не закрыть сайт от поиска
robots.txt — маленький текстовый файл в корне сайта, который говорит поисковым роботам, куда ходить не нужно. Пять строк, ноль дизайна — и одна из самых частых причин, по которой новый сайт не появляется в поиске. Ниже — как файл устроен, рабочий пример для бизнес-сайта и ошибки, которые я встречаю чаще всего.
Что делает robots.txt, а что нет
Файл лежит по адресу вашдомен.ru/robots.txt. Робот приходит на сайт, первым делом читает его и решает, какие разделы обходить.
Поэтому robots.txt — инструмент для экономии внимания робота: не тратить обход на служебные разделы, поиск по сайту, корзину, бесконечные фильтры. А не способ спрятать секретные страницы: файл публичный, его может открыть кто угодно.
Из чего состоит файл
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Для какого робота правила ниже. * — для всех | User-agent: Yandex |
| Disallow | Запретить обход адресов, которые начинаются так | Disallow: /admin |
| Allow | Разрешить внутри запрещённого раздела | Allow: /admin/public |
| Sitemap | Где лежит карта сайта | Sitemap: https://site.ru/sitemap.xml |
| Clean-param | Только Яндекс: какие параметры адреса не меняют содержимое | Clean-param: utm_source&utm_medium |
В правилах работают два символа: * — любая последовательность символов, $ — конец адреса. Disallow: /*?sort= закроет все адреса с сортировкой, Disallow: /*.pdf$ — все PDF-файлы.
Рабочий пример для бизнес-сайта
User-agent: *
Disallow: /admin
Disallow: /api/
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
User-agent: Yandex
Disallow: /admin
Disallow: /api/
Disallow: /search
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid
Sitemap: https://вашдомен.ru/sitemap.xmlОтдельный блок для Яндекса нужен из-за Clean-param: он склеивает адреса с utm-метками в одну страницу, и робот не тратит обход на десятки копий из рекламы. Обратите внимание: робот следует только одному блоку — самому подходящему. Поэтому общие запреты в блоке Yandex приходится повторять.
robots.txt в Next.js
На сайтах, которые я делаю, файл не пишется руками, а генерируется кодом. В Next.js это файл app/robots.ts: правила лежат рядом с остальной логикой, адрес карты сайта подставляется из настроек, и тестовая версия автоматически закрывается целиком, а боевая — открыта.
import type { MetadataRoute } from 'next'
const isProd = process.env.NEXT_PUBLIC_SITE_URL === 'https://вашдомен.ru'
export default function robots(): MetadataRoute.Robots {
if (!isProd) return { rules: { userAgent: '*', disallow: '/' } }
return {
rules: [{ userAgent: '*', disallow: ['/admin', '/api/'] }],
sitemap: 'https://вашдомен.ru/sitemap.xml',
}
}Смысл в последней строке условия: тестовая версия закрыта, боевая открыта, и перепутать их при переносе невозможно — решает окружение, а не человек.
Пять ошибок, из-за которых сайт пропадает
1. Disallow: / на боевом сайте
Тестовую версию закрыли целиком — правильно. Потом файл уехал на боевой сайт вместе с остальным кодом — и весь сайт закрыт. Проверяется за пять секунд: откройте вашдомен.ru/robots.txt после каждого крупного релиза.
2. Закрыты стили и скрипты
Раньше было модно закрывать папки с CSS и JS. Сейчас поисковики рендерят страницу как браузер: без стилей и скриптов они видят сломанную вёрстку и хуже понимают страницу. Ресурсы, без которых страница не отрисуется, должны быть открыты.
3. Попытка убрать страницу из поиска через Disallow
Страница уже в индексе, её закрывают в robots.txt — и она остаётся в выдаче, только без описания. Робот больше не может зайти и увидеть, что страницу пора убрать. Правильный порядок: сначала noindex и дождаться выпадения, потом, если нужно, закрыть обход.
4. Слишком широкое правило
Disallow: /blog закрывает не только раздел блога, но и любой адрес, который начинается с /blog: /blog-novosti, /blogger. Правило работает как «начинается с». Если нужен только раздел — пишите Disallow: /blog/.
5. Кириллица и пробелы в адресах
Кириллические адреса в файле нужно писать в закодированном виде, как их видит браузер в адресной строке после копирования. Пробелы внутри правила ломают его целиком.
Как проверить файл
- Яндекс.Вебмастер → «Инструменты» → «Анализ robots.txt»: покажет ошибки синтаксиса и проверит, разрешён ли конкретный адрес.
- Google Search Console → «Настройки» → отчёт о файлах robots.txt: когда Google последний раз скачал файл и были ли ошибки.
- Проверьте 3–4 ключевые страницы: главную, услугу, статью. Все должны быть разрешены.
robots.txt — первое, что я смотрю в техническом аудите, потому что ошибка здесь обнуляет всё остальное. На новых сайтах файл генерируется кодом с первого дня, и вопрос «а не закрыт ли сайт» больше не возникает.
FAQ
Где находится robots.txt?
В корне сайта, по адресу вашдомен.ru/robots.txt. В другом месте поисковики его не ищут. У каждого поддомена должен быть свой файл.
Нужен ли robots.txt, если закрывать нечего?
Желательно. Даже минимальный файл с User-agent: * и строкой Sitemap помогает роботу быстрее найти карту сайта. Если файла нет совсем, поисковик считает, что разрешено всё, — это не ошибка, но и пользы нет.
Можно ли закрыть страницу от индексации через robots.txt?
Надёжно — нет. Disallow запрещает обход, но Google может проиндексировать адрес без содержимого, если на него ведут ссылки. Чтобы убрать страницу из поиска, используйте мета-тег noindex и оставьте страницу открытой для робота.
Что такое Clean-param?
Директива Яндекса. Она сообщает, что параметры в адресе (например, utm-метки) не меняют содержимое страницы. Яндекс склеивает такие адреса в один и не тратит обход на копии. Google эту директиву не поддерживает.
Делаю сайты, где SEO заложено в архитектуру, а не прикручено после запуска. Пишу о том, что проверено на своих проектах: сметы, сроки, техника и цифры из аналитики — без обещаний «топ-10 за месяц». Подробнее об авторе →
Нужна такая работа? Посмотрите услуги, о которых речь в статье: