Introducción

Profound opera un pequeño número de agentes HTTP automatizados que obtienen datos públicos de la web en nombre de nuestros clientes. Esta sección documenta cada bot, qué hace, cuándo se ejecuta y cómo los operadores de sitios pueden identificarlo, permitirlo o bloquearlo.

​

Bots activos

​

Reglas de funcionamiento de los bots

Todos los bots de Profound siguen las mismas reglas de funcionamiento:

• Solo datos públicos: nuestros bots obtienen recursos destinados a ser de lectura pública (por ejemplo, sitemap.xml, robots.txt y páginas HTML públicas). Nunca intentan acceder a áreas autenticadas, nunca envían formularios y nunca eluden los controles de acceso.
• Identificación mediante User-Agent: cada bot envía un encabezado User-Agent estable y descriptivo con un nombre que empieza por Profound. Los operadores de sitios pueden filtrar por ese prefijo para identificar todo el tráfico de Profound.
• Respeto de robots.txt: nuestros bots leen el robots.txt de cualquier host del que obtienen datos. Los bots que rastrean páginas HTML respetan las directivas Disallow.
• Sin rastreo persistente sin divulgación: cualquier bot que se ejecute de forma programada, siga enlaces de forma recursiva o mantenga un índice tiene una página dedicada en esta sección que documenta su comportamiento en detalle.