# Bloqueo básico para bots y crawlers
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Bloqueo de parámetros dinámicos para evitar contenido duplicado
Disallow: /*?

# Bloqueo de búsquedas internas
Disallow: /?s=
Disallow: /search

# Bloqueo de archivos sensibles de WordPress
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

# Bloqueo de trackbacks y páginas de autor
Disallow: /trackback
Disallow: /*/trackback
Disallow: /author/

# Bloqueo de directorios innecesarios
Disallow: /cgi-bin/
Disallow: /wp-content/cache/
Disallow: /wp-includes/

# Permitir acceso a recursos esenciales para renderización
Allow: /wp-content/uploads/
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css

# Permitir archivos esenciales en plugins y temas (evita problemas en PageSpeed Insights)
Allow: /wp-content/plugins/*.css$
Allow: /wp-content/plugins/*.js$
Allow: /wp-content/plugins/*.png$
Allow: /wp-content/plugins/*.jpg$
Allow: /wp-content/plugins/*.svg$
Allow: /wp-content/plugins/*.gif$

Allow: /wp-content/themes/*.css$
Allow: /wp-content/themes/*.js$
Allow: /wp-content/themes/*.png$
Allow: /wp-content/themes/*.jpg$
Allow: /wp-content/themes/*.svg$
Allow: /wp-content/themes/*.gif$

# Bloqueo de feeds para evitar indexación de contenido duplicado
Disallow: /feed/
Disallow: /*/feed/
Disallow: /*/feed/rss/
Disallow: /comments/feed/

# Bloqueo de archivos adjuntos (evita indexación innecesaria)
Disallow: /*/attachment/
Disallow: /?attachment_id*

# Ralentizar bots problemáticos para evitar sobrecarga
User-agent: noxtrumbot
User-agent: msnbot
User-agent: Slurp

# Bloqueo de bots y crawlers innecesarios
User-agent: Amazonbot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: libwww
Disallow: /
User-agent: Orthogaffe
Disallow: /
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: linko
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
User-agent: wget
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: k2spider
Disallow: /
User-agent: NPBot
Disallow: /
User-agent: WebReaper
Disallow: /

# Permitir rastreo de CSS y JS por Googlebot (evita errores en Search Console)
User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$


# Sitemap del sitio para mejorar la indexación
sitemap:https://www.modelbell.es/sitemap_index.xml
sitemap:https://www.modelbell.es/post-sitemap.xml
sitemap:https://www.modelbell.es/page-sitemap.xml
sitemap:https://www.modelbell.es/faq-sitemap.xml