Comprueba que tu archivo Robots.txt funciona correctamente

Si tienes una pagina web  debes saber que existen ciertas herramientas que nos servirán de ayuda para tener un mejor funcionamiento en nuestro sitio.

Una de las claves en la optimización de tu sitio web es que para los buscadores (como Google, Yahoo, Bing, Altavista, etc) debemos tener un buen archivo robots.txt .

Este archivo como su extensión lo dice es simplemente un archivo de texto, el cual puedes crear manualmente en el bloc de notas, (o si usas WordPress existen plugins que te ayudaran a crearlo).

El archivo robots.txt contiene recomendaciones para los robots de los buscadores, en este archivo se le indica que le hagan o no caso a algunos archivos o directores, muchas personas deciden que pueden explorar todo el sitio pero muchas veces eso tiene sus desventajas como que por contenido duplicado penalicen su sitio web o que lo bajen de ranking entre otras.

Para que no tengas dudas de que tu archivo robots.txt esta mal escrito o tiene algún error pequeño, hemos encontrado un sitio que se llama Robots txt Checker, que se encarga de comprobar que tu archivo este escrito correctamente para que no tengas problemas con los robots de los buscadores .

En Robots txt checker solo basta con poner el enlace en donde esta tu archivo robots.txt (que sin duda alguna debe ser http://tudominio/robots.txt ) y presionar el botón de analizar para que puedas ver si existe algún error que modificar en el archivo.

La verdad es que esta es una herramienta web muy útil  a la hora de optimizar nuestra web y lo mejor de todo es que es ¡gratis!

Fuente  | Wwwhat’s News.