Directrices técnicas para webmasters

Utilice un navegador de solo texto como Lynx para examinar su sitio, ya que la mayoría de las arañas de los motores de búsqueda visualizarán el sitio de forma muy similar a Lynx. Si el uso de funciones avanzadas (como JavaScript, cookies, identificadores de sesión, marcos, DHTML o Flash) impide la visualización de todo el sitio en un navegador de texto, es posible que las arañas de los motores de búsqueda tengan problemas para rastrearlo.

Permita que los robots de búsqueda rastreen su sitio sin identificadores de sesión ni argumentos que efectúen un seguimiento de su ruta por el sitio. Estas técnicas son de gran utilidad para supervisar el comportamiento de un determinado usuario, pero el patrón de acceso de los robots es completamente distinto. El uso de estas técnicas puede generar una indexación incompleta de su sitio, ya que es posible que los robots no puedan eliminar las URL que tengan un aspecto distinto pero que en realidad dirijan a la misma página.

Asegúrese de que su servidor web admita la cabecera HTTP "If-Modified-Since". Esta función permite que su servidor web avise a Google si el contenido de su sitio ha cambiado desde la última vez que lo rastreamos. El uso de esta función le permitirá ahorrar ancho de banda y reducir gastos generales.

Utilice el archivo robots.txt en su servidor web. Este archivo indica a los rastreadores qué directorios se pueden rastrear. Asegúrese de mantenerlo actualizado para evitar un bloqueo accidental del rastreador Googlebot. Visite la página http://www.robotstxt.org/faq.html para obtener información sobre cómo dirigir el comportamiento de los robots que visiten su sitio. Para asegurarse de estar utilizando correctamente el archivo robots.txt, puede probarlo con la herramienta de análisis de robots.txt disponible a través de las Herramientas para webmasters de Google.

Si su empresa adquiere un sistema de administración de contenido, asegúrese de que ese sistema cree páginas y enlaces que puedan rastrear los motores de búsqueda.

Utilice robots.txt para evitar el rastreo de páginas de resultados de búsqueda u otras páginas generadas automáticamente que carecen de valor para los usuarios procedentes de motores de búsqueda.

Realice una prueba para asegurarse de que su sitio aparezca correctamente en distintos navegadores.