· 8 мин чтения ·

robots.txt: как настроить и не закрыть сайт от поиска

robots.txt — маленький текстовый файл в корне сайта, который говорит поисковым роботам, куда ходить не нужно. Пять строк, ноль дизайна — и одна из самых частых причин, по которой новый сайт не появляется в поиске. Ниже — как файл устроен, рабочий пример для бизнес-сайта и ошибки, которые я встречаю чаще всего.

Что делает robots.txt, а что нет

Файл лежит по адресу вашдомен.ru/robots.txt. Робот приходит на сайт, первым делом читает его и решает, какие разделы обходить.

Поэтому robots.txt — инструмент для экономии внимания робота: не тратить обход на служебные разделы, поиск по сайту, корзину, бесконечные фильтры. А не способ спрятать секретные страницы: файл публичный, его может открыть кто угодно.

Из чего состоит файл

ДирективаЧто делаетПример
User-agentДля какого робота правила ниже. * — для всехUser-agent: Yandex
DisallowЗапретить обход адресов, которые начинаются такDisallow: /admin
AllowРазрешить внутри запрещённого разделаAllow: /admin/public
SitemapГде лежит карта сайтаSitemap: https://site.ru/sitemap.xml
Clean-paramТолько Яндекс: какие параметры адреса не меняют содержимоеClean-param: utm_source&utm_medium

В правилах работают два символа: * — любая последовательность символов, $ — конец адреса. Disallow: /*?sort= закроет все адреса с сортировкой, Disallow: /*.pdf$ — все PDF-файлы.

Рабочий пример для бизнес-сайта

robots.txt
User-agent: *
Disallow: /admin
Disallow: /api/
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=

User-agent: Yandex
Disallow: /admin
Disallow: /api/
Disallow: /search
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid

Sitemap: https://вашдомен.ru/sitemap.xml

Отдельный блок для Яндекса нужен из-за Clean-param: он склеивает адреса с utm-метками в одну страницу, и робот не тратит обход на десятки копий из рекламы. Обратите внимание: робот следует только одному блоку — самому подходящему. Поэтому общие запреты в блоке Yandex приходится повторять.

robots.txt в Next.js

На сайтах, которые я делаю, файл не пишется руками, а генерируется кодом. В Next.js это файл app/robots.ts: правила лежат рядом с остальной логикой, адрес карты сайта подставляется из настроек, и тестовая версия автоматически закрывается целиком, а боевая — открыта.

app/robots.ts
import type { MetadataRoute } from 'next'

const isProd = process.env.NEXT_PUBLIC_SITE_URL === 'https://вашдомен.ru'

export default function robots(): MetadataRoute.Robots {
  if (!isProd) return { rules: { userAgent: '*', disallow: '/' } }
  return {
    rules: [{ userAgent: '*', disallow: ['/admin', '/api/'] }],
    sitemap: 'https://вашдомен.ru/sitemap.xml',
  }
}

Смысл в последней строке условия: тестовая версия закрыта, боевая открыта, и перепутать их при переносе невозможно — решает окружение, а не человек.

Пять ошибок, из-за которых сайт пропадает

1. Disallow: / на боевом сайте

Тестовую версию закрыли целиком — правильно. Потом файл уехал на боевой сайт вместе с остальным кодом — и весь сайт закрыт. Проверяется за пять секунд: откройте вашдомен.ru/robots.txt после каждого крупного релиза.

2. Закрыты стили и скрипты

Раньше было модно закрывать папки с CSS и JS. Сейчас поисковики рендерят страницу как браузер: без стилей и скриптов они видят сломанную вёрстку и хуже понимают страницу. Ресурсы, без которых страница не отрисуется, должны быть открыты.

3. Попытка убрать страницу из поиска через Disallow

Страница уже в индексе, её закрывают в robots.txt — и она остаётся в выдаче, только без описания. Робот больше не может зайти и увидеть, что страницу пора убрать. Правильный порядок: сначала noindex и дождаться выпадения, потом, если нужно, закрыть обход.

4. Слишком широкое правило

Disallow: /blog закрывает не только раздел блога, но и любой адрес, который начинается с /blog: /blog-novosti, /blogger. Правило работает как «начинается с». Если нужен только раздел — пишите Disallow: /blog/.

5. Кириллица и пробелы в адресах

Кириллические адреса в файле нужно писать в закодированном виде, как их видит браузер в адресной строке после копирования. Пробелы внутри правила ломают его целиком.

Как проверить файл

  • Яндекс.Вебмастер → «Инструменты» → «Анализ robots.txt»: покажет ошибки синтаксиса и проверит, разрешён ли конкретный адрес.
  • Google Search Console → «Настройки» → отчёт о файлах robots.txt: когда Google последний раз скачал файл и были ли ошибки.
  • Проверьте 3–4 ключевые страницы: главную, услугу, статью. Все должны быть разрешены.

robots.txt — первое, что я смотрю в техническом аудите, потому что ошибка здесь обнуляет всё остальное. На новых сайтах файл генерируется кодом с первого дня, и вопрос «а не закрыт ли сайт» больше не возникает.

FAQ

Где находится robots.txt?

В корне сайта, по адресу вашдомен.ru/robots.txt. В другом месте поисковики его не ищут. У каждого поддомена должен быть свой файл.

Нужен ли robots.txt, если закрывать нечего?

Желательно. Даже минимальный файл с User-agent: * и строкой Sitemap помогает роботу быстрее найти карту сайта. Если файла нет совсем, поисковик считает, что разрешено всё, — это не ошибка, но и пользы нет.

Можно ли закрыть страницу от индексации через robots.txt?

Надёжно — нет. Disallow запрещает обход, но Google может проиндексировать адрес без содержимого, если на него ведут ссылки. Чтобы убрать страницу из поиска, используйте мета-тег noindex и оставьте страницу открытой для робота.

Что такое Clean-param?

Директива Яндекса. Она сообщает, что параметры в адресе (например, utm-метки) не меняют содержимое страницы. Яндекс склеивает такие адреса в один и не тратит обход на копии. Google эту директиву не поддерживает.

АВТОР
Зода из Zodas.dev
Основатель Zodas Lab · разработка + SEO

Делаю сайты, где SEO заложено в архитектуру, а не прикручено после запуска. Пишу о том, что проверено на своих проектах: сметы, сроки, техника и цифры из аналитики — без обещаний «топ-10 за месяц». Подробнее об авторе →

Нужна такая работа? Посмотрите услуги, о которых речь в статье:

SEO-сопровождение — от 50 000 ₽Корпоративные сайты — от 190 000 ₽