Как robots.txt управляет индексацией сайта и влияет на SEO

Что такое robots.txt и зачем он нужен

Файл robots.txt — это простой текстовый документ, который размещается в корневой папке сайта (доступен по адресу https://вашдомен.by/robots.txt). Его задача — управлять поведением поисковых роботов: указывать, что можно и что нельзя индексировать, какие разделы скрыть, а какие — наоборот, открыть для индексации.

Этот файл критичен при создании и SEO-продвижении сайта. Ошибки в robots.txt могут полностью выбросить сайт из поисковой выдачи или, наоборот, открыть нежелательные технические разделы.

Что можно настроить через robots.txt

Через файл robots.txt можно:

• Закрыть от индексации: личные кабинеты, корзину, фильтры, дубли страниц;
• Разрешить индексацию нужных разделов (если были запрещены по умолчанию);
• Указать основное зеркало (через директиву Host для Яндекса);
• Указать карту сайта (через директиву Sitemap — помогает ускорить индексацию);
• Настроить нагрузку на сервер (Crawl-delay — устанавливает паузы между запросами робота).

Где должен находиться robots.txt

Только в корне домена — иначе поисковик его просто не увидит. Адрес должен быть ровно такой: https://вашдомен.by/robots.txt.
Если сайт доступен по нескольким зеркалам (с www и без), файл должен быть на том домене, который указывается как основной.

Мы всегда проверяем корректность размещения файла в рамках бесплатного технического аудита сайта.

Пример правильного robots.txt

User-agent: *
Disallow: /admin/
Disallow: /search/
Allow: /uploads/
Host: https://bmg.by
Sitemap: https://bmg.by/sitemap.xml

Пояснение:

• User-agent: * — правило для всех поисковых систем.
• Disallow: /admin/ — запрещаем индексацию панели администратора.
• Allow: /uploads/ — разрешаем роботу видеть папку с изображениями.
• Host — основное зеркало (только для Яндекса).
• Sitemap — указываем путь к карте сайта.

Типичные ошибки в robots.txt

Полный запрет индексации (например, Disallow: /).

Отсутствие директив Host и Sitemap.

Противоречивые правила (что-то запрещается и тут же разрешается).

Размещение файла не в корне.

Закрытие важных страниц или каталогов (например, /catalog/).

Наша студия разработки сайтов проверяет robots.txt на всех проектах. Мы не доверяем это клиенту — вы просто заказываете сайт, а всю техническую часть мы берём на себя.

Нужно ли вам править robots.txt вручную

Нет, если вы не уверены. Одна ошибка — и сайт выпадет из индекса.

Мы не агентство, где за шаблонной настройкой стоят шаблонные специалисты. В BMG robots.txt настраивается индивидуально под цели проекта.

Если сайт уже работает — проверьте его файл прямо сейчас: вашдомен.by/robots.txt. А если вы заказываете продвижение, настройку robots.txt мы делаем бесплатно.

Robots.txt и SEO — связь прямая

Этот файл — не просто «для галочки».

Он:

• влияет на то, как быстро и правильно поисковые системы индексируют сайт;
• помогает избегать дублей страниц;
• экономит бюджет обхода (crawl budget) у крупных сайтов;
• повышает шансы попасть в ТОП Google и Яндекс.

Именно поэтому настройка robots.txt входит в стартовый пакет при любом сопровождении сайта.

Не уверены — проверьте

Если у вас уже есть сайт, но вы не знаете, как у вас настроен robots.txt — закажите бесплатный аудит. Мы покажем, что работает неправильно, и расскажем, как исправить. А если только планируете запуск — разработка сайта с корректным robots.txt входит в стандарт.

Что вы получаете, работая с нами

Файл robots.txt, написанный вручную под ваш сайт.

Правильная настройка зеркала, карты сайта, закрытие дублей.

Проверка через инструменты Google Search Console и Яндекс.Вебмастер.

Постоянный мониторинг в рамках технической поддержки.

С вас — только задача. Всё остальное — на нас.