Los motores de búsqueda Web cuentan con arañas que rastrean la web y buscar páginas web y enlaces. Cuando una araña encuentra una URL, que indexa el sitio y las rutas de imágenes y las guarda. Más tarde, una persona en busca de algo con relación al sitio indexado verá que el sitio que se muestra en los resultados de búsqueda. Si usted tiene un sitio que no está destinado a ser visto por el público, se puede incluir un código en el sitio que evitará que los motores de búsqueda accedan a él.
Instrucciones
1 Ingrese a su servidor Web. Abra el archivo HTML de la página en la que quiere desactivar las arañas.
2 Haga clic en entre las etiquetas <head> y </ head> de la página.
3 Introduzca este código:
<Meta name = "robots" content = "noindex, nofollow, noarchive, noodp, NOYDIR, sin fragmento de código">
4 Publicar la página. Las arañas no indexará o contenido del archivo comprimido desde su sitio.