Genera o comprueba tu robots.txt
Dos modos: generar un robots.txt desde cero, o pegar uno existente y comprobar qué permite y qué bloquea.
Lo que escribes aquí no sale de tu navegador.
Plantillas rápidas
Tu robots.txt
User-agent: *
Cómo se usa
En «Generar», el código de abajo se actualiza según vas montando reglas: cópialo o descárgalo cuando esté listo. En «Comprobar», pega tu archivo actual, dime una ruta y un user-agent, y te digo qué regla gana y por qué, siguiendo el mismo orden de precedencia que usan los rastreadores.
Limitaciones
Sigo las reglas estándar (la coincidencia más larga y más específica gana), pero cada rastreador puede interpretar matices distintos. Esto te da la lectura habitual, no una certeza absoluta sobre cómo se comporta cada buscador.
Una sola línea mal puesta en el robots.txt puede impedir que Google rastree secciones enteras sin que nadie se dé cuenta. Por eso es de lo primero que miro en una revisión técnica.
Pide una revisión gratuita de tu web.
Si sospechas que Google no ve páginas que debería ver, cuéntamelo y lo miro.