El archivo robots.txt es el recurso clave para toda sitio web que pretende ser bien posicionada por los buscadores como Google . Sirve como el mapa para los crawlers , indicándoles qué secciones de tu web pueden están rastreadas y cuáles no . La adecuada configuración de este documento sirve a so