# robots.txt для b.spirt-fixa.ru
# Задача: открыть для индексации все товарные и информационные страницы
# и закрыть технические, служебные и параметрические дубли.

User-agent: *
Allow: /
Disallow: /poisk/
Disallow: /spasibo/
Disallow: /api/
Disallow: /*?
Disallow: /*?q=
Disallow: /*?utm_
Disallow: /*?yclid=
Disallow: /*?gclid=
Disallow: /*?from=
Disallow: /*&
Allow: /*?page=

# Служебные каталоги закрыты на уровне сервера, здесь дублируем на всякий случай
Disallow: /data/
Disallow: /src/
Disallow: /templates/
Disallow: /storage/

# Файл самопроверки — удалите его после первичной проверки сайта
Disallow: /_check.php

# Яндекс: не учитывать рекламные и трекинговые параметры
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer&yclid&gclid&from&_openstat&fbclid

# Медленные роботы — ограничиваем нагрузку
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

User-agent: MJ12bot
Crawl-delay: 10

User-agent: DotBot
Disallow: /

# Основное зеркало. Директиву Host Яндекс официально не поддерживает,
# но она не мешает и полезна части старых роботов. Главное зеркало
# задаётся в Яндекс.Вебмастере: https://b.spirt-fixa.ru
Host: b.spirt-fixa.ru

Sitemap: https://b.spirt-fixa.ru/sitemap.xml