User-agent: *
Allow: /
Disallow: /api/
Disallow: /includes/
# Превью-путь вьетнамского сайта (бренд Nenta под российским доменом) — до переезда на nenta.vn.
# ⚠️ Этот статический файл, а не robots.php, отдаётся на проде: nginx обслуживает
# существующие файлы сам, до .htaccess-рewrite. Правки дублировать в оба.
Disallow: /vi/

# LLM-краулеры — явные правила для попадания в GEO-ответы
# ⛔ Явный блок не наследует Disallow из общего *-блока — служебные пути повторены в каждом
User-agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: Applebot-Extended
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

User-agent: YandexAdditional
Allow: /
Disallow: /api/
Disallow: /includes/
Disallow: /vi/

# Content Signals Policy (Cloudflare) — намерение владельца по использованию контента
Content-Signal: ai-train=yes, search=yes, ai-input=yes

# etext= добавляется Яндексом к каждому клику (уникален — создаёт дубли URL)
Clean-param: etext&utm_source&utm_medium&utm_campaign&utm_content&utm_term&ref&from

Sitemap: https://bigbencrm.ru/sitemap.xml
Sitemap: https://bigbencrm.ru/sitemap-videos.xml