Probador de Robots.txt

Prueba y valida tu archivo robots.txt. Comprueba si las URLs son permitidas o bloqueadas.

robots.txt Content

Quick examples

Valora Probador de Robots.txt

¿Te resultó útil esta herramienta? Tu valoración ayuda a otros a encontrarla.

Validador de sintaxis

Marca directivas no válidas, valores que faltan y errores de lógica mientras escribes, sin pulsar ningún botón.

Comprobador de URLs

Prueba URLs sueltas o en lote y ve al instante si están permitidas (Allowed) o bloqueadas (Blocked), con la regla exacta que coincide.

Simulación de bots

Elige Googlebot, Bingbot o DuckDuckBot, o escribe un user-agent propio para simular cualquier rastreador.

Obtención en directo

Introduce cualquier dominio para obtener su robots.txt actual directamente, sin copiar y pegar.

Cómo funciona este Probador de Robots.txt

La herramienta Probador de Robots.txt funciona completamente en tu navegador para que puedas obtener resultados inmediatos sin configuraciones complejas. Prueba y valida tu archivo robots.txt. Comprueba si las URLs son permitidas o bloqueadas.

Todo el procesamiento se realiza del lado del cliente, lo que ayuda a proteger tu privacidad y evita cargas innecesarias al servidor. Puedes usarla de forma gratuita, repetir procesos las veces que necesites y copiar el resultado al instante.

Cómo usar este Probador de Robots.txt

1

Pega u obtén

Pega el contenido de tu robots.txt o obtenlo en directo de cualquier dominio.

2

Valida

La sintaxis se comprueba automáticamente y los errores y avisos aparecen al momento.

3

Prueba URLs

Introduce URLs y elige un rastreador para ver si están permitidas (Allowed) o bloqueadas (Blocked).

Preguntas Frecuentes

¿Qué es un probador de robots.txt?
Valida la sintaxis de tu archivo robots.txt y simula cómo lo leen los rastreadores de los buscadores. Puedes comprobar si una URL concreta está permitida o bloqueada para Googlebot, Bingbot y otros rastreadores.
¿Cómo funciona el validador?
Pega el contenido de tu robots.txt (u obtenlo de un dominio) y la herramienta lo analiza línea por línea. Marca errores de sintaxis y directivas desconocidas y te deja probar cualquier ruta con las reglas del rastreador que elijas.
¿Qué regla tiene prioridad en robots.txt?
Google aplica la coincidencia más específica: gana la regla Allow o Disallow con la ruta coincidente más larga. Si una regla Allow y otra Disallow son igual de específicas, prevalece Allow. Esta herramienta reproduce ese comportamiento.
¿Por qué se bloquea mi URL si tengo una regla Allow?
Probablemente la regla Disallow es más larga (más específica) que tu Allow. Por ejemplo, «Disallow: /admin/private/» se impone a «Allow: /admin/». Haz más específica la ruta de Allow o comprueba que la regla está en el grupo User-agent correcto.
¿Puedo probar varias URLs a la vez?
Sí. Ve a la pestaña de prueba masiva (Bulk Test) y pega una URL por línea. Todas se comprueban con el mismo user-agent y los resultados se muestran en una tabla.
¿Es seguro este verificador de robots.txt?
La validación y las pruebas de URLs se ejecutan al 100 % en tu navegador: el contenido de tu robots.txt nunca se sube a un servidor. La función «Fetch from domain» envía una petición desde el servidor solo para obtener el archivo robots.txt público.

Herramientas relacionadas

El Probador de Robots.txt es mantenido por CodeItBro. Nuestro objetivo es ofrecer las mejores herramientas gratuitas para desarrolladores en la web. Si tienes comentarios o sugerencias, visita nuestra página de contacto.

Aparece en

CodeItBro - Free dev tools + practical guides to help you ship faster | Product HuntCodeItBro - Free Online Developer Tools badgeCodeItBro badge