Cómo bloquear a los buscadores mediante robots.txt

En determinados casos puede interesarnos que los buscadores no indexen ciertas páginas o directorios, como pueden ser aplicaciones de administración o backend. ¿Cómo hacerlo? Con el fichero robots.txt

Todos los motores de búsqueda esperan encontrar el fichero en la raíz de tu sitio y en él puedes ordenar si indexar o no y con qué reglas, desde una página a directorios completos.

Bloquear todo el sitio web

Contenido de /robots.txt

User-agent: * Disallow: /

Bloquear un fichero o página del sitio web

Contenido de /robots.txt

User-agent: * Disallow: /download.php

Bloquear un directorio del sitio web

Contenido de /robots.txt

User-agent: * Disallow: /backend/

Y como siempre, hay mucho para jugar: desde poder bloquear determinados motores de búsqueda discriminándolos o bloquear contenido con expresiones regulares.