El archivo robots.txt es un archivo de texto ubicado en la raíz de un sitio web (por ejemplo, https://tufantasticaweb.com/robots.txt) y sirve para comunicar a los bots de los motores de búsqueda (como Googlebot, Bingbot y otros más) qué partes del sitio web pueden rastrear y cuáles no. Muy importante para el tema del SEO y, por tanto, para darnos a conocer más, bueno, nosotros no, nuestra web. O si, nosotros también 😀
Bromas aparte, este archivo forma parte del llamado Robots Exclusion Protocol (REP), y como he dicho, da instrucciones a los bots o rastreadores (web crawlers) sobre qué partes del sitio web pueden o no pueden explorar.
Leer más