Почему сайт не в поиске Google и Яндекса: 9 причин и как проверить самому

«Сайт не в поиске» звучит как мистика, но почти всегда за этим стоит одна из девяти конкретных причин — и каждую можно проверить самому за пять минут. Не нужен SEO-специалист, чтобы понять, закрыта ли страница тегом noindex или отдаёт ли она soft-404. Нужны два бесплатных инструмента и пятнадцать минут времени. Ниже — все девять причин, почему сайт не в поиске Google и Яндекса, с инструкцией «как проверить» и «что делать» по каждой.

Сразу важная развилка. Одно дело — сайт молодой, и поисковик его ещё не обошёл (лечится временем). Другое — на сайте техническая ошибка, которая прямо запрещает индексацию (лечится руками, и быстро). Сначала разберёмся, к какой группе относится твой случай, — а для этого нужны вебмастерки.

Сначала — два инструмента, без них ты гадаешь вслепую

Без Google Search Console и Яндекс.Вебмастера диагностика индексации — это гадание на кофейной гуще. Оба бесплатные, оба ставятся за десять минут, и оба показывают главное: видит ли поисковик твои страницы и что он про них думает.

В Search Console тебе нужны два места. «Проверка URL» — вставляешь адрес страницы и видишь её статус: проиндексирована, не проиндексирована и почему. Отчёт «Индексирование страниц» — общая картина по всему сайту: сколько в индексе, сколько отвалилось и с какой причиной. В Яндекс.Вебмастере то же самое живёт в разделах «Индексирование» → «Страницы в поиске» и «Проверить статус URL».

Быстрый тест без всякой настройки: вбей в поиск site:твойдомен.ru. Пустая выдача — сайта в индексе нет вообще. Страниц меньше, чем должно быть, — часть выпала. Это не диагноз, но направление сразу понятно.

Причина 1. Страница закрыта от индексации

Самая частая и самая обидная причина. Страница физически запрещена к индексации — и поисковик честно её игнорирует. Запрет прячется в трёх местах: мета-тег <meta name="robots" content="noindex"> в коде страницы, HTTP-заголовок X-Robots-Tag: noindex или строчка Disallow в файле robots.txt.

Классика жанра — noindex остался с разработки. На тестовом стенде сайт закрывают от индексации целиком, чтобы черновик не попал в поиск. Потом релизят на прод и забывают снять запрет. Сайт живой, красивый, а поиск его не видит неделями.

Как проверить. Открой страницу, нажми «Просмотр кода» (Ctrl+U) и поищи noindex. Открой твойдомен.ru/robots.txt и посмотри, нет ли там Disallow: / или запрета нужного раздела. В Search Console «Проверка URL» прямым текстом напишет «Заблокировано в файле robots.txt» или «Страница помечена noindex».

Что делать. Убрать запрет: снять мета-тег, поправить robots.txt, перезапросить индексацию. Вопрос пяти минут, если знаешь, где смотреть.

Причина 2. Нет sitemap или он врёт

Sitemap.xml — это карта сайта для робота: список страниц, которые ты хочешь видеть в индексе. Без неё поисковик находит страницы сам, по ссылкам, и на большом сайте часть может не найти годами. С битой картой ещё хуже: робот тратит время на несуществующие или закрытые URL и до нужных не доходит.

Частые поломки: sitemap не существует вовсе, в нём старые URL после переезда, в него попали закрытые от индексации страницы или он отдаёт нестабильную дату изменения lastmod, которая прыгает на каждом деплое. Последнее коварно — поисковик видит, что «контент постоянно меняется», и откладывает обход на потом. К этому ещё вернёмся отдельно, потому что именно из-за lastmod я однажды потерял индексацию полусотни страниц.

Как проверить. Открой твойдомен.ru/sitemap.xml — он вообще есть? Внутри реальные рабочие URL без дублей и редиректов? Загружен ли он в Search Console («Файлы Sitemap») и в Вебмастер?

Что делать. Сгенерировать корректный sitemap, выкинуть из него мусор, зафиксировать стабильный lastmod и отправить в обе вебмастерки.

Причина 3. Дубли и путаница с каноникал

Поисковик не любит выбирать. Если одна и та же страница доступна по нескольким адресам — с www и без, по http и https, со слэшем на конце и без, с параметрами ?utm=... — он видит несколько «разных» страниц с одинаковым содержимым. И часто не индексирует ни одну, потому что не понимает, какая главная.

Решает это атрибут rel="canonical" — он указывает роботу каноническую версию. Нет каноникала или он настроен криво — получаешь дубли, размытый вес и пропавшие из индекса страницы.

Как проверить. Вбей site:твойдомен.ru и посмотри, не висит ли одна страница в нескольких вариантах. Глянь в коде <link rel="canonical" ...> — ведёт ли он на правильный адрес. В Search Console отчёт об индексировании прямо выделяет «Страница-дубликат без canonical».

Что делать. Прописать canonical на каждой странице, склеить версии сайта через 301-редирект (одна основная — например, https без www), закрыть от индексации служебные параметры.

Причина 4. Soft-404 — страница притворяется живой

Soft-404 — это когда страница отдаёт код 200 («всё ок»), но по содержимому пустая или с ошибкой: «ничего не найдено», «товар недоступен», голый шаблон без контента. Поисковик видит несоответствие — код говорит «страница есть», а смотреть не на что — и помечает её как soft-404. Такие страницы не индексируются и тянут вниз доверие к разделу.

На одном проекте я ловил это на легаси-страницах, оставшихся от старого сайта на конструкторе. Удалённые URL отдавали не честный 404, а заглушку с кодом 200. Search Console исправно копил их в отчёте «Страница с ошибкой soft 404», и они мешали индексироваться нормальным страницам в том же разделе.

Как проверить. Отчёт «Индексирование страниц» в Search Console — ищи статус «Soft 404». Проверь, что несуществующие страницы реально отдают код 404, а не 200 (через любой онлайн-чекер ответа сервера).

Что делать. Либо отдавать на таких URL настоящий 404/410, либо наполнить страницу реальным контентом, если она должна жить.

Причина 5. Сайт грузится медленно

У поисковика на каждый сайт есть краулинговый бюджет — сколько страниц робот готов обойти за заход. Если страница рендерится шесть секунд, робот успеет обойти в разы меньше, чем на быстром сайте, и до части страниц просто не дойдёт. Плюс скорость напрямую влияет на позиции — это подтверждённый фактор и Google, и Яндекса.

Сюда же — Core Web Vitals: метрики LCP, INP и CLS, по которым поисковик оценивает реальную скорость и стабильность загрузки. Тяжёлые картинки, лишние шрифты и сторонние скрипты топят их в первую очередь.

Как проверить. Прогони ключевые страницы через PageSpeed Insights — он покажет и оценку, и конкретные узкие места. Красная зона по мобильным — повод заняться этим всерьёз.

Что делать. Сжать картинки, убрать лишние скрипты, настроить кэш. Подробно про то, что именно тормозит сайт и сколько это стоит в трафике, я разобрал в отдельной статье про Core Web Vitals.

Причина 6. Тонкий контент

Тонкий контент (thin content) — страница, на которой поисковику нечего ранжировать. Двести слов общих фраз, скопированное описание товара, пустая категория. Формально страница есть, по сути пользы ноль, и поисковик не понимает, по какому запросу её показывать и зачем.

Это не про объём ради объёма. Страница на 800 точных слов, которая закрывает вопрос лучше конкурентов, побьёт страницу на 3000 слов воды. Вопрос в плотности пользы, а не в количестве знаков.

Как проверить. Честно посмотри на страницу глазами человека, который пришёл из поиска: получает он ответ на свой запрос — или общие слова? Сравни с тем, что уже стоит в топе по этому запросу.

Что делать. Дописать конкретику — цифры, примеры, ответы на реальные вопросы. Слабые страницы либо усилить, либо объединить, либо убрать.

Причина 7. Новый домен — поисковик присматривается

Если сайту две недели, а его нет в топе — это чаще всего не баг, а норма. Новому домену поисковик не доверяет сразу: нет истории, нет внешних ссылок, нет накопленных сигналов. Отдельные страницы могут попасть в индекс за дни, но стабильные позиции по конкурентным запросам приходят за два–шесть месяцев, иногда дольше.

Про «песочницу» Google честно: компания официально отрицает существование формального фильтра для новых сайтов. Но на практике эффект «новичка» виден — молодые домены ранжируются осторожнее, пока не наберут доверие. У Яндекса похоже, плюс его индексация в принципе медленнее гугловской.

Как проверить. Посчитай возраст домена и время с запуска. Если прошло меньше пары месяцев и отдельные страницы в индексе уже есть — система работает, нужно просто продолжать.

Что делать. Не паниковать и не переделывать всё подряд. Наполнять сайт, получать ссылки, добавить его в обе вебмастерки и дать время.

Причина 8. Переезд без 301-редиректов

Самый болезненный способ потерять поиск — переехать неправильно. Сменил домен, структуру URL или CMS, не настроив редиректы, — и все старые адреса отдают 404. Весь вес, который страницы копили годами, обнуляется, поисковик выкидывает старые URL из индекса, а новые ранжирует с нуля.

301-редирект говорит поисковику: «страница переехала навсегда, перенеси сюда всё, что про неё знаешь». Без него переезд равен запуску нового сайта без истории.

Как проверить. Возьми десяток старых адресов (из старого sitemap или из отчётов аналитики) и открой их. Отдают 301 на новые страницы — хорошо. Отдают 404 — проблема.

Что делать. Составить карту соответствия старых и новых URL и закрыть каждый старый адрес 301-редиректом. Как пройти редизайн и переезд, не уронив позиции, я расписал в отдельной статье.

Причина 9. Ручные санкции

Редкая, но тяжёлая причина — ручные санкции. Поисковик может вручную понизить или выкинуть сайт из выдачи за нарушения: накрутку ссылок, скрытый текст, клоакинг (роботу показывают одно, человеку — другое), агрессивный спам. Для большинства обычных сайтов это не про них, но проверить стоит — особенно если позиции рухнули резко и без видимой причины.

Как проверить. В Search Console есть раздел «Меры, принятые вручную» — если там пусто, ручных санкций нет. В Яндекс.Вебмастере смотри «Диагностика» → «Безопасность и нарушения».

Что делать. Если санкция есть — устранить причину (убрать спам-ссылки, скрытый текст, всё, на что указал поисковик) и отправить запрос на повторную проверку. Восстановление занимает от пары недель.

«Discovered» и «Crawled – currently not indexed»: что это значит

Два статуса в Search Console, которые путают чаще всего. «Discovered – currently not indexed» — поисковик знает про страницу, но ещё не обошёл её. «Crawled – currently not indexed» — обошёл, но в индекс не положил. Это не ошибки и не запреты. Это «руки не дошли» или «пока не считаю достаточно ценной».

Тот случай с lastmod из второй причины — как раз отсюда. На одном проекте 54 страницы намертво зависли в «Discovered – currently not indexed». Причина оказалась в sitemap: дата lastmod регенерилась на каждом деплое, и для робота сайт выглядел так, будто всё содержимое меняется без конца. Он откладывал обход «на потом», и это «потом» не наступало. Зафиксировал lastmod по реальной дате правки — и индексация сдвинулась с мёртвой точки.

Что помогает выбраться из этих статусов: внутренние ссылки на «застрявшую» страницу с уже проиндексированных, стабильный sitemap, рост общего доверия к сайту и — банально — польза на самой странице. Кнопка «запросить индексирование» работает как разовый толчок, но не лечит причину.

Порядок диагностики: с чего начать

Чтобы не метаться, проверяй в таком порядке — от самого частого и быстрого к редкому:

• robots.txt и noindex — закрыта ли страница вообще (5 минут).
• site:домен — что реально в индексе.
• «Проверка URL» в Search Console — статус конкретной страницы и причина.
• Sitemap — есть, корректный, загружен.
• Дубли и canonical — одна версия сайта или несколько.
• Soft-404 и коды ответа — живые страницы отдают 200, удалённые — 404.
• Скорость через PageSpeed — не топит ли краулинг.
• Возраст сайта — может, дело просто во времени.
• Меры, принятые вручную — на случай санкций.

Девять причин из этой статьи закрывают подавляющее большинство случаев «сайт не в поиске». Если прошёл по списку, всё чисто, а страниц в индексе всё равно нет — причина глубже: краулинговый бюджет, архитектура, качество. Это уже не разовая правка, а системная работа, и тут ближе тема SEO, встроенного в архитектуру сайта.

Частые вопросы

Если коротко — «сайт не в поиске» почти никогда не мистика. В девяти случаях из десяти это noindex, который забыли снять, кривой sitemap, дубли без каноникала или soft-404. Всё это проверяется за вечер по списку выше — без специалиста и без вложений.

А вот если причина глубже — краулинговый бюджет, последствия переезда, системная техническая яма — разовой правкой не обойтись. Тут нужно разбираться с архитектурой и вести сайт постоянно, а не латать раз в полгода. Если это твой случай — посмотри, как устроено SEO-сопровождение, кто я и как работаю, или просто опиши ситуацию — разберёмся, где затык.