Al igual que otros motores de búsqueda, Google reúne a su base de datos de contenido de Internet utilizando una pieza de software llamada "araña". Arañas regularmente "rastrear" la Web, siguiendo los enlaces entre páginas e informar lo que encuentran a los equipos que ejecutan ellos. De esta manera Google se queda hasta al día sobre las direcciones y contenidos de los sitios innumerables y constantemente cambiantes que componen la Web. El robot de Google está rastreando continuamente la Web, pero puede visitar diferentes sitios web a intervalos de frecuencia muy diferente.
Googlebot
software de la araña de Google se llama "Googlebot", y es alimentado por un gran conjunto de ordenadores que utilizan constantemente el programa para rastrear la web, información de registro sobre los sitios que encuentre y devolver esa información a los servidores de Google. Para encontrar sitios para rastrear, el robot de Google utiliza la lista de sitios que ya están en la base de datos, y comprueba los sitios de enlaces a otros sitios, que se deduce rápidamente.
Frecuencia
El robot de Google siempre está plagado por la Web, y está diseñado para registrar los cambios en los sitios ya rastreadas-tan pronto como sea posible - por lo general dentro de unos pocos segundos. algoritmos especiales determinan la frecuencia con el robot de Google rastrea un sitio en particular, similar a los algoritmos que determinan la prominencia de PageRank de un sitio en los resultados de búsqueda de Google. Una página con muchas otras páginas que enlazan con él, o uno que cambia con frecuencia, verá visitas más frecuentes de Googlebot.
Registro de visitas de Googlebot
servidores del sitio web de registro de visitas de Googlebot justo al inicio de sesión éxitos de cualquier otro cliente, y hay programas especiales específicamente para monitorear el tráfico de Googlebot. Si tienes un blog o sitio web que se ejecuta en el marco de WordPress, por ejemplo, se puede instalar un plugin para mantener control sobre la frecuencia con la que Googlebot rastree su sitio.
Googlebot bloqueo
Al igual que otras arañas, el robot de Google está programado para comprobar el servidor de un sitio web para un archivo de texto llamado "robots.txt". Al modificar el contenido de este archivo, se puede decir que Googlebot hacer caso omiso de las páginas en particular, evitando que vuelva a aparecer la información sobre ellos a Google; de esta manera se puede guardar las páginas, o de todo el sitio, fuera de la lista de resultados de búsqueda de Google. Tenga en cuenta que mientras que el robot de Google - y todos los programas de araña respetables - obedecer tales restricciones, que tiene un archivo robots.txt no impide que las arañas diseñados por los programadores menos escrupulosos el rastreo de sitios que pueden alcanzar en la red.