Agregar un archivo robots.txt
Última actualización: 8 abril, 2025
Un archivo robots.txt es fundamental para la optimización de motores de búsqueda de tu sitio web. En este artículo, explicamos cómo añadir un archivo robots.txt y su función.
Nota: Si utiliza Sitejet con Plesk o cPanel, es muy probable que esta función se implemente de forma diferente. Para más información, póngase en contacto con el equipo de soporte de su proveedor.
Conocimientos básicos
Los motores de búsqueda tienen dos funciones en la web: buscar contenido e indexarlo para que otros usuarios puedan encontrarlo de forma ordenada. Al acceder a un sitio web, lo primero que suele buscar un rastreador de un motor de búsqueda (como un bot de Google o Bing) es un archivo robots.txt. Si lo encuentra, lee el contenido antes de acceder a otras páginas.
Hay muchas buenas razones para usar un archivo robots.txt. Por ejemplo, aquí puede especificar qué indexarán los rastreadores o qué contenido desea ocultar. También recomendamos guardar el archivo sitemap.xml en el archivo robots.txt. De esta forma, puede estar seguro de que un rastreador lo llamará y de que su página se indexará correctamente. En el mapa del sitio, usted determina qué páginas se indexan y cuáles no.
Para obtener más información sobre el mapa del sitio, tenemos un artículo aparte para usted.
Es importante mencionar que el archivo robots.txt solo sirve de ayuda para los rastreadores. No se garantiza que los sitios web no sean rastreados ni viceversa. Google y Bing, por ejemplo, afirman respetar el archivo robots.txt, pero no están obligados a hacerlo, y hemos visto casos en los que los bots han ignorado las solicitudes. En internet encontrará muchas instrucciones sobre cómo crear un archivo robots.txt y qué instrucciones debe introducir. La sintaxis es muy sencilla. Cada motor de búsqueda, como Google, tiene sus propios artículos de ayuda en su base de datos (enlace externo). Incluso existen generadores que hacen el trabajo por usted. Se ha definido más información sobre posibles especificaciones y regulaciones en el Protocolo Estándar de Exclusión de Robots (enlace externo).
Puedes probar tu archivo robots.txt en este enlace (enlace externo).
Agregue un archivo robots.txt a su proyecto
Para que los motores de búsqueda encuentren el archivo, éste debe estar ubicado en el directorio principal del dominio.
Si el archivo está oculto en otro lugar, los rastreadores asumen que no existe. Podemos lograrlo con un truco sencillo.
1. Sube tu archivo robots.txt al administrador de medios de tu sitio web.
2. Desde el Administrador de archivos, abra el archivo en una nueva pestaña del navegador. Así, encontrará la URL que necesita. También puede hacer clic en “Obtener enlace”. De esta forma, el enlace se copiará directamente en el portapapeles.
3. Desde la nueva pestaña del navegador, copie la URL completa.
4. Regrese a la pestaña Editor del sitio web y haga clic en el menú de hamburguesa en la esquina superior izquierda.
5. Haga clic en el elemento de menú “Redirecciones”.
6. Haga clic en “+ Agregar regla”.
7. Seleccione “301” o “302” en el campo “Tipo” de redirección. Recomendamos una redirección 301. Pegue la URL copiada como se describe.
Los motores de búsqueda ahora podrán encontrar su archivo Robots.txt en su ubicación esperada.
Este artículo es una traducción del original en inglés titulado “Add a robots.txt file” publicado por Sitejet.
