Archivo utilizado para dirigir o indicar a los robots web qué páginas y directorios indexar o no indexar. Este archivo se debe colocar en el directorio raíz en el servidor que aloja sus páginas. El archivo debe llamarse robots.txt y debe tener permisos de lectura. A continuación se muestra un ejemplo de un archivo robots.txt.

 # archivo robots.txt para //www.computerhope.comUser-agent: * Disallow: / directory1 / 
No permitir: / directorio2 /

En el ejemplo de robots.txt anterior, la primera línea es una declaración no ejecutable que describe el archivo. A continuación, la línea User-agent indica qué robots o bots deben seguir esta sección del archivo. En el ejemplo anterior, el * representa todos los bots. Finalmente, las siguientes dos líneas son los dos directorios que desea que los bots no indexen.

Si desea permitir que un bot consulte todas las URL de su sitio web, ingrese el nombre del bot seguido de no permitir: con un valor en blanco, como se muestra en el siguiente ejemplo.

 Usuario-agente: Somebot *
Rechazar: 

Términos de Internet, Metaetiquetas, Robot, Términos de SEO, Mapa del sitio, Términos de diseño web