Сайт не индексируется в Google: ложная тревога из-за слэша и что помогло

Сайт не индексируется в Google чаще всего не из-за одной поломки, а из-за двух, которые легко перепутать. Первая - кривая проверка: вы спрашиваете Google не про тот адрес и получаете "URL is unknown to Google". Вторая - настоящая: Google знает про страницы, но не спешит их краулить, потому что на домен никто не ссылается. У меня в августе 2026 случились обе сразу, и сначала я чинил не ту.

Дальше - разбор на одном примере: блог dnd-dm.ru (сайт моего ИИ-Мастера для DnD на Astro) и SEO-индикатор моего конвейера статей, который однажды вечером радостно сообщил, что Google не знает ни одной из 30 статей.

Почему сайт не индексируется в Google

Сайт не индексируется в Google по одной из четырёх причин: Google не нашёл страницу, нашёл, но отложил обход, обошёл, но не взял в индекс, или вы проверяете не тот адрес. Первые три - статусы из Search Console, у каждого своё лечение. Четвёртая - ошибка проверяющего, и её надо исключить первой, иначе лечить будете здоровое.

Вот как эти статусы выглядят в URL Inspection (официальные формулировки - в справке Search Console про отчёт об индексировании, support.google.com):

Последние две строки и есть ловушка. "Unknown" по адресу, который отдаёт 301, - это не "сайт не в индексе", а "вы спросили не про ту страницу".

Что значит "URL is unknown to Google" в URL Inspection API

"URL is unknown to Google" в URL Inspection API - это ответ "про этот точный адрес ничего не знаю". Адрес со слэшем на конце и без слэша для Google - два разных URL, и API не идёт по редиректу. Если сайт отдаёт 200 только по одной форме, а вы спрашиваете вторую, получите "unknown" даже по проиндексированной странице.

Про слэш Google писал ещё в 2010-м в посте "To slash or not to slash": каждый URL рассматривается отдельно, со слэшем он или без, а лучшее решение - выбрать одну форму, редиректить на неё, ссылаться на неё, класть в sitemap и в rel=canonical (Google Search Central, 2010).

Теперь как это выглядело у меня. Конвейер раз в сутки гоняет инспекцию свежих статей через GSC URL Inspection API и пишет статусы в SQLite. 9 августа 2026 индикатор показал 30 из 30 статей dnd-dm.ru "unknown to Google" и прислал тревогу в Telegram. Звучит как фильтр, правда?)

Оказалось проще и обиднее. Публикатор хранил адреса dnd-статей без завершающего слэша, а Astro на этом сайте отдаёт статью со слэшем и редиректит на неё 301-м. Индикатор честно спрашивал у Google про адрес-редирект, Google честно отвечал, что такого не знает.

В тот же вечер всплыло и второе: с 1 по 9 августа джоб сбора метрик не стартовал ни разу: у cron-скрипта слетел бит исполнения, скрипт падал до первой строчки лога, а понедельничный дайджест исправно присылал старые цифры. Классика жанра, как с парсером, который 6 дней не сохранял вакансии - тихие отказы самые дорогие.

Как проверять индексацию через GSC URL Inspection API без ложных тревог

GSC URL Inspection API надо кормить адресом ровно в той форме, которую сайт отдаёт с кодом 200: со слэшем или без, с https, с нужным хостом. Форму лучше брать из настройки площадки, а не из того, как адрес случайно сохранился в базе. Лимит API - 2000 запросов в сутки и 600 в минуту на сайт.

Лимиты - из документации Search Console API (developers.google.com), проверено 08.10.2026. Для блога на сотню статей это с огромным запасом, упираться будете не в квоту, а в собственные баги.

Сам фикс уложился в одну функцию. Вот она из моего конвейера, без сокращений по логике:

def canonical_url(url, *, trailing_slash):
    """Адрес в той форме, которую площадка отдаёт с кодом 200."""
    u = (url or "").strip()
    if not u:
        return u
    parts = urllib.parse.urlsplit(u)
    path = parts.path or "/"
    if path != "/":
        if trailing_slash:
            path = path if path.endswith("/") else path + "/"
        else:
            path = path.rstrip("/") or "/"
    return urllib.parse.urlunsplit(
        (parts.scheme, parts.netloc, path, parts.query, parts.fragment))

А форма адреса теперь живёт в конфиге площадок, флагом trailing_slash: у dnd-dm.ru на Astro - True, у sunm8.ru на Next.js - False. Корень домена всегда со слэшем, потому что "https://dnd-dm.ru" без слэша Google тоже не знает.

Что я сделал по шагам:

1. Добавил trailing_slash в настройки каждой площадки и прогнал через canonical_url все адреса перед запросом к API.
2. Написал 6 тестов: слэш добавляется, слэш срезается, корень не трогается, инспекция уходит именно по канонической форме.
3. Удалил 50 строк истории статусов, собранных по неканоническим адресам. Старые срезы были враньём, а враньё в истории потом рисует красивые, но ложные графики.
4. Поставил сторожа: каждый cron-джоб при старте оставляет отметку, отдельный скрипт раз в сутки сверяет их с порогами и свежесть SEO-данных. Плюс тест на бит исполнения у всех cron-скриптов, который сразу нашёл ещё два скрипта с режимом 100644.

Четвёртый пункт к индексации вроде не относится, но без него я бы ещё неделю жил со старыми цифрами.

Почему страницы "обнаружены, но не проиндексированы": внешние ссылки и индексация

Статус "Discovered - currently not indexed" значит, что Google знает про URL, но отложил обход. Для молодого сайта главная причина - нет внешних ссылок: Google не видит, зачем тратить на домен краулинговый бюджет. Sitemap сообщает о страницах, но не делает их важными.

Google в справке пишет прямо: страницу нужно найти, а значит, на неё должна вести ссылка с уже известной страницы или sitemap (support.google.com). Sitemap у меня был. Ссылок не было.

Когда ложная тревога ушла, проступила настоящая проблема. Картина по dnd-dm.ru: 26 URL в sitemap, 0 в индексе. И ноль внешних ссылок на домен. Вообще ноль, ни одной. Сайт жил сам в себе: внутренняя перелинковка была, блок "Читайте также" под каждой статьёй был. Только Google смотрел на это и вежливо откладывал обход.

Тут мне помог тот самый правильный диагноз. 13 страниц в "discovered" и 4 в "crawled" - это разные болезни. Discovered лечится сигналами снаружи, crawled - качеством самой страницы. Если бы я поверил в 30/30 unknown, полез бы чинить sitemap и robots.txt, а проблема была вообще не в них.

Как ускорить индексацию в Google: request indexing и внешние ссылки

Ускорить индексацию в Google можно двумя рычагами: внешними ссылками на домен, которые показывают, что сайт кому-то нужен, и ручным Request Indexing в Search Console для самых важных страниц. Ссылки работают на весь сайт, Request Indexing - поштучно и по квоте, поэтому его стоит тратить только на приоритетные URL.

Про квоту Google пишет без цифры: на отправку отдельных URL есть лимит, а повторная заявка на ту же страницу обход не ускорит; обход может занять "от нескольких дней до нескольких недель" (Google Search Central). Так что жать кнопку по десять раз бесполезно, проверено не мной, но верю)

Что я дёрнул, в порядке убывания влияния, как я его понимаю:

Свой второй сайт - это не ссылочная ферма, а честная связка: блог про разработку рассказывает, что я делаю, а dnd-dm.ru - один из этих проектов.

Сдвиг за 3 дня: 2 страницы в индексе и первые клики из поиска Google. По данным моего сборщика, первый клик из Google на dnd-dm.ru пришёл 12 августа 2026, а 9 и 10 августа было 0 кликов при 1 показе в день. Цифры смешные, но после месяца нуля это был прям праздник.

Что стало с индексацией через 2 недели

Через 2 недели картина стала лучше, но не сказочной. Полный скан 63 URL dnd-dm.ru через URL Inspection 27 августа 2026 показал 4 страницы в индексе Google, 17 в статусах crawled или discovered not indexed, остальные - unknown. Внешние ссылки сдвинули дело с нуля, но не решили его.

В индексе на 27.08 были главная, /roadmap и две статьи: про соло-кампанию и про состояния в DnD 5e. У статьи про соло-кампанию Google даже показал расширенный сниппет с хлебными крошками. А вот флагманская статья "Как играть в DnD одному" так и висела в "Crawled - currently not indexed": последний обход 5 августа, после правок Google её не перекраулил.

Флагман я при этом успел добить под топ. В Вебмастере Яндекса нашёл реальные формулировки запросов (42, 32 и 19 показов за 10 дней у трёх главных), сделал под них FAQPage JSON-LD на 5 вопросов, переписал лид в прямой ответ на 40-60 слов и поставил честный dateModified. Для сравнения - в Яндексе запросы этого кластера тогда стояли на 7-9 месте: "как играть в днд одному" в среднем на 8,8 (16-30 июля 2026, 60 показов), "можно ли играть в днд одному" - на 8,2.

И тут вылезли грабли уже конвейера. Поле updatedDate бампалось при ЛЮБОМ обновлении черновика в базе, даже без правки текста. Получается, "свежая дата" могла стоять у статьи, в которой не поменялось ни слова. Для поисковика это сигнал, который со временем перестаёт что-то значить. Правило теперь такое: published-черновики не трогать без содержательной правки, а дата обновления меняется только вместе с текстом. Про похожие страхи перед отпечатками машинного конвейера я писал в разборе 12 мер против санкций поисковиков.

Когда проверять слэш в URL не нужно

Проверять форму URL не нужно, если вы смотрите индексацию руками в интерфейсе Search Console и вставляете адрес прямо из адресной строки браузера: там он уже в форме 200. Ловушка срабатывает, когда адреса берёт скрипт из своей базы, sitemap или CMS и отправляет их в API как есть.

Моя фраза-граница такая: если между "адрес страницы" и "запрос в Google" есть ваш код - проверьте слэш первым делом, до любых теорий про санкции. Если кода нет и вы кликаете руками - слэш не ваша проблема, ищите в статусах.

И второй критерий, про ссылки. Если на домен нет ни одной внешней ссылки, а страниц в "discovered" больше половины - не трогайте sitemap, robots и разметку. Это не техническая проблема. Сначала одна-две честные ссылки снаружи, потом всё остальное. Request Indexing - мера поштучная: 7 заявок - это 7 страниц, а не сайт.

Если у вас конвейер живёт на сервере и сам публикует статьи, как у меня, - добавьте к нему сторожа на молчащие джобы. Я подробнее рассказывал, как устроен мой парк cron-обёрток на VPS: именно там бит исполнения у скрипта и потерялся.

Короче: сначала убедитесь, что спрашиваете Google про правильный адрес. Потом смотрите статусы. Потом ищите, кто на вас ссылается. В таком порядке, а не наоборот, как сделал Владька)