Comprensión y funciones de Robots.txt en sitios web

El Protocolo de exclusión de robots (REP) o Robots.txt es un archivo que contiene reglas de rastreo para motores de búsqueda. Generalmente, la función robots.txt se utiliza para bloquear páginas que no desea que sean indexadas o seguidas por los motores de búsqueda. O permite a Google y similares rastrear el sitio web, o no.

Ubicado en la carpeta raíz de su sitio web. Junto con .htaccess y otras subcarpetas. En los últimos años Robots.txt ha sido muy popular entre los usuarios de sitios web, tanto de WordPress, Blogger, Joomla y otros. Porque esta función facilita a los desarrolladores la gestión de la privacidad de sus sitios web.

Quieren saber ¿Definición y función de robots.txt en un sitio web?

¿Qué motores de búsqueda admiten Robots.txt?

¡Veamos la tabla a continuación!

Valor de los robots	Google	Yahoo!	MSN/En vivo/Bing	Preguntar
índice	Sí	Sí	Sí	Sí
sin índice	Sí	Sí	Sí	Sí
ninguno	Sí	Duda	Duda	Sí
seguir	Sí	Duda	Duda	Sí
no seguir	Sí	Sí	Sí	Sí
sin archivo	Sí	Sí	Sí	Sí
fragmento de información	Sí	No	No	No
noodp	Sí	Sí	Sí	No
noydir	Es inútil	Sí	Es inútil	Es inútil

Función de comando Robots.txt

• índice: Permitir que la página en cuestión sea vista e indexada en las búsquedas
• sin índice: No permite que los motores de búsqueda indexen la página en cuestión
• noimageindex: No permite que las imágenes sean indexadas por los motores de búsqueda. Esto es usado por Instagram.
• seguir: De forma predeterminada, todas las páginas tienen un comando de seguimiento. Para que cada página sea seguida por robots de búsqueda
• no seguir : Lo contrario de seguir. Bloquea el acceso de los robots de búsqueda a los enlaces
• sin archivo: No permite que los motores de búsqueda proporcionen datos de respaldo de la página en cuestión
• nocache: Al igual que noarchive, sólo específicamente para la sección de caché
• fragmento de código: No permite que los motores de búsqueda muestren frases fragmentadas de la página en cuestión
• noodp: No permite que los motores de búsqueda utilicen descripciones de páginas de DMOZ
• noydir: Pedidos especiales Yahoo! directorio
• ninguno : Este es el comando más sólido. Esto significa que los robots de búsqueda tienen prohibido hacer cualquier cosa.
• No permitido : Comando para no permitir motores de búsqueda

Ejemplo de un archivo Robots.txt correcto

Para ver el archivo Robots.txt en un sitio web, simplemente acceda a la URL del sitio web y sígalo con /robots.txt. Ejemplo : Robots Yoast o Neil Patel Robots Más o menos, la apariencia predeterminada del archivo robots.txt es así:

User-agent: *
Disallow: /ebooks/*.pdf

User-agent: Googlebot-Image
Disallow: /images/

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

De los dos códigos anteriores, tienen características diferentes. Especialmente para el código del segundo párrafo, es el texto de robots predeterminado generado por WordPress. Para más detalles, consulte la explicación a continuación.

• Agente de usuario: * — Declarar todo tipo de robots de motores de búsqueda
• No permitir: /ebooks/*.pdf — Prohíbe que todo tipo de robots accedan a todas las URL
• libros electrónicos y archivos PDF
• Agente de usuario: Imagen del robot de Google — Declara que las imágenes del robot de Google no acceden a las imágenes.
• No permitir: /images/ — No permitir que Google Bot Image acceda a la URL /images/

No permitir: /wp-admin/

— No permitir que Google Bot Image acceda a la URL /wp-admin/

¿Es necesario escribir un mapa del sitio en Robots.txt? De hecho, en teoría escribir Sitemap en Robots.txt es correcto. Pero no creo que eso sea muy útil en este momento. El motivo es que todavía debemos crear una cuenta en Google Search Console o Bing Webmaster Tools.

Sólo desde este panel podemos enviar un mapa del sitio web completo. Lea aquí para