El propósito de agregar Robots Txt es agregar o restringir las URL del sitio para que no se muestren en los motores de búsqueda. El administrador puede permitir o no permitir URL específicas. De forma predeterminada, se puede acceder a todas las URL en los motores de búsqueda.

Para estudiar más sobre Robots Txt y ver un ejemplo, el administrador debe visitar https://support.google.com/webmasters/answer/6062596?hl=en . El administrador debe seguir el formato de los ejemplos proporcionados en esta página como se muestra en la figura 2.1 para permitir o no permitir ciertas URL.

Fig.2.1: Formato de texto de robots (ejemplos)