El fichero robots.txt es un herramienta fundamental para toda sitio que busca ser bien posicionada por los motores de búsqueda como Bing. Funciona como un instructivo para los crawlers , indicándoles qué áreas de tu sitio pueden deben crawleadas y cuáles se deben excluir . La óptima configuración de