Resumen
Qué hace
Cuando proporcionas la URL de una página web pública para leer su contenido, ProfoundBot realiza un conjunto limitado de solicitudes HTTP al origen de esa URL para obtener la página y, luego, devuelve el contenido en Markdown, HTML o ambos. Cuando una página se renderiza con un navegador sin interfaz gráfica, los subrecursos propios de esa página (scripts, hojas de estilo, imágenes) se cargan como lo harían en cualquier navegador. ProfoundBot no sigue enlaces a otras páginas. En el caso de las Knowledge Bases, ProfoundBot obtiene cada página añadida con Scrape Page y cada URL de página que aparece en un sitemap importado con Crawl Website > Sitemap, siempre que el dominio de la página esté inscrito en organization Settings > Web Scrape (consulta Origen de red e IP dedicadas). Las sincronizaciones programadas de esos documentos obtienen las páginas de la misma forma.Qué no hace
- Rastrear. Cada acción del cliente obtiene exactamente una URL. El bot no sigue enlaces de forma recursiva ni crea un índice de tu sitio.
- Enviar formularios, seguir flujos de inicio de sesión ni acceder a áreas autenticadas.
- Conservar un índice persistente de tu sitio. El contenido obtenido se te entrega y no se vuelve a publicar.
- Acceder a destinos de redes privadas o internas.
Comportamiento de las solicitudes
Cada acción del usuario desencadena una interacción pequeña y limitada, circunscrita a la única URL solicitada.Origen de red e IP dedicadas
De forma predeterminada, ProfoundBot sale desde un rango de IP dinámico. Identifícalo por su User-Agent. Puedes inscribir un dominio (una configuración por dominio, desactivada de forma predeterminada) para que ProfoundBot lo obtenga desde un rango de IP de salida dedicado propiedad de Profound. Esto es útil si prefieres permitir a Profound por IP en lugar de por User-Agent. Cuando un dominio está inscrito, las solicitudes salen desde este rango:134.49.168.0/24
54.71.251.6054.185.59.110100.22.234.65
Si algunos de tus dominios siguen usando las IP anteriores, Settings → Web Scrape los muestra con un botón Move to the new IP range. Añade
134.49.168.0/24 a tu lista de permitidos antes de trasladarlos, porque después del traslado ProfoundBot obtiene esos dominios solo desde el nuevo rango.Manejo de robots.txt
ProfoundBot es iniciado por el usuario y obtiene una sola página por acción del usuario en lugar de rastrear. La compatibilidad con las directivas Disallow de robots.txt está prevista para una versión futura.
Para impedir que ProfoundBot acceda a tu sitio mientras tanto, consulta la sección Cómo bloquearlo.
Cómo identificar el bot
Usa el encabezado User-Agent exacto:Cómo bloquearlo
Bloquea ProfoundBot con cualquiera de los siguientes métodos:- Una regla de WAF o CDN que detecte un User-Agent que contenga
ProfoundBot - Una regla de WAF o CDN que detecte un User-Agent que contenga el prefijo
Profound - Para los dominios inscritos, una regla de firewall o WAF que bloquee el rango de salida dedicado (
134.49.168.0/24) y, para los dominios que aún las usan, las IP dedicadas anteriores (54.71.251.60,54.185.59.110,100.22.234.65)
Cómo reportar abusos
Si observas un comportamiento que no coincide con esta documentación, como rastreo recursivo, tasas de solicitudes incompatibles con la obtención de una sola página iniciada por el usuario o actividad de un User-AgentProfound* no reconocido, repórtalo a security@tryprofound.com con líneas de registro de ejemplo.
Profound trata estos reportes como problemas de seguridad y responde a todos ellos.