Para qué sirve el archivo Robots.txt y cómo ocultar tu página web de Google

Deshabilitar indexación de motores de búsqueda

Tú puedes indicarle a los motores de búsqueda qué páginas rastrear y cuáles no rastrear en tu sitio, esto lo logras creando un archivo robots.txt.

El archivo robots.txt generalmente se usa para enumerar las URL en un sitio que no desea que rastreen los motores de búsqueda. Este archivo debe de ir en la carpeta raíz de tu sitio web.

También puede incluir el mapa del sitio de su sitio en su archivo robots.txt para indicar a los rastreadores de motores de búsqueda qué contenido deben rastrear.

Ocultar todo el sitio

User-agent: *
Disallow: /

Ocultar Páginas especificas

User-agent: *
Disallow: /pagina-especifica

Ocultar Directorios

User-agent: *
Disallow: /nombre-directorio/

Incluir un Sitemap

Sitemap: https://tupagainweb.com/sitemap.xml