Skip to main content
Profound Knowledge Base Fetcher es un agente HTTP que lee el sitemap de un sitio web cuando importas ese sitio en una Knowledge Base. También vuelve a descargar los archivos PDF que ya están en una Knowledge Base para comprobar si han cambiado.

​
Resumen

​
Qué hace

Cuando importas un sitio web con la pestaña Sitemap de Crawl Website, el fetcher solicita la URL de sitemap que introduces y cualquier sitemap secundario que aparezca en un índice de sitemap. Profound pone en cola para importar las URL de páginas que encuentra. El fetcher solo lee archivos de sitemap, por lo que se ejecuta cuando la Sitemap URL termina en .xml o .xml.gz. Si en su lugar introduces un dominio sin más, Profound encuentra las páginas del sitio de otra manera y este fetcher no interviene. Puedes omitir https://, y el fetcher lo añade. Si el primer intento no encuentra páginas y la dirección no incluye www., el fetcher vuelve a intentarlo añadiendo www.. Con la sincronización automática activada, el fetcher vuelve a leer el sitemap en cada ejecución de sincronización para detectar páginas nuevas o eliminadas. También descarga, con esa misma frecuencia, cada PDF importado desde la web y compara una huella digital de sus bytes con la versión anterior. Profound procesa solo los archivos que cambiaron.

​
Qué no hace

  • Obtener páginas HTML, imágenes, scripts ni hojas de estilo. El contenido de las páginas se obtiene por separado
  • Leer robots.txt
  • Enviar formularios, seguir flujos de inicio de sesión ni acceder a áreas autenticadas
  • Ejecutar JavaScript ni usar un navegador headless
  • Acceder a destinos de redes privadas o internas

​
Comportamiento de las solicitudes

​
Encabezados enviados

En su lugar, las solicitudes de huella digital de PDF envían Accept-Encoding: identity.

​
Cómo identificar el bot

Usa el encabezado User-Agent exacto:
Todos los bots de Profound usan cadenas User-Agent que empiezan por Profound, por lo que buscar coincidencias con el prefijo Profound es una buena forma de identificar todo el tráfico de Profound, actual y futuro.

​
Cómo bloquearlo

Bloquea el fetcher con cualquiera de los siguientes métodos:
  • Una regla de firewall de aplicaciones web (WAF) o de red de entrega de contenido (CDN) que detecte un User-Agent que contenga ProfoundKnowledgeBase
  • Una regla de WAF o CDN que detecte un User-Agent que contenga el prefijo Profound

​
Cómo reportar abusos

Si observas un comportamiento que no coincide con esta documentación, como solicitudes de páginas HTML, tasas de solicitudes que parezcan un rastreo o actividad de un User-Agent Profound* no reconocido, repórtalo a security@tryprofound.com con líneas de registro de ejemplo. Profound trata estos reportes como problemas de seguridad y responde a todos ellos.