Profound Sheets Sitemap Importer es un agente HTTP iniciado por el usuario que obtiene el sitemap de un sitio web para importar sus URL en una Profound Sheet. Este bot solo se ejecuta cuando un usuario autenticado de Profound hace clic en + Create new → Sitemap dentro de la sección Sheets de la plataforma de Profound y proporciona la URL de un sitio.
Resumen
Qué hace
Cuando se inicia con la URL de origen de un sitio web, el Sitemap Importer realiza un conjunto pequeño y limitado de solicitudes HTTP GET para localizar y leer el sitemap del sitio. Prueba las siguientes URL en secuencia:
https://{origin}/sitemap.xmlhttps://{origin}/sitemap_index.xmlhttps://{origin}/sitemap-index.xmlhttps://{origin}/robots.txt (se analiza solo para buscar directivas Sitemap:, que se añaden a la lista de candidatos)- cualquier sitemap secundario referenciado por un índice de sitemap
Si introduces una URL que termina en .xml, el importador también prueba esa URL directamente.
Se usa la primera respuesta que se analiza como un sitemap XML válido. Las URL que contiene se te devuelven para importarlas. El importador no almacena, guarda en caché, redistribuye ni vuelve a publicar el contenido del sitemap.
Qué no hace
- Obtener páginas HTML, imágenes, scripts, hojas de estilo ni ningún otro recurso
- Enviar formularios, seguir flujos de inicio de sesión ni acceder a áreas autenticadas
- Ejecutar JavaScript ni usar un navegador headless
- Rastrear de forma recursiva más allá de los enlaces del índice de sitemap a los sitemaps secundarios
- Conservar un índice persistente de tu sitio
Comportamiento de las solicitudes
Cada acción de importación desencadena una pequeña ráfaga de solicitudes limitada a un único origen.
Encabezados enviados
Volumen y frecuencia
El tráfico del Importer depende completamente de la actividad de los clientes. No hay un rastreo continuo. Una interacción típica implica unas pocas solicitudes, tras las cuales el Importer no vuelve a contactar un origen hasta que otra acción de importación apunte al mismo sitio.
Gestión de robots.txt
El importador lee robots.txt para descubrir las URL de sitemap declaradas mediante directivas Sitemap:. No evalúa las reglas Disallow sobre los archivos de sitemap, porque el protocolo de sitemaps trata esos archivos como públicamente detectables.
Para impedir que el importador acceda a tu sitio, consulta la sección Cómo bloquearlo.
Cómo identificar el bot
Usa el encabezado User-Agent exacto:
Todos los bots de Profound usan cadenas User-Agent que empiezan por Profound, por lo que buscar coincidencias con el prefijo Profound es una buena forma de identificar todo el tráfico de Profound, actual y futuro.
Cómo bloquearlo
Bloquea el importador con cualquiera de los siguientes métodos:
- Una regla de WAF o CDN que coincida con un User-Agent igual a
ProfoundSheetsSitemapImporter/1.0
- Una regla de WAF o CDN que coincida con un User-Agent que contenga el prefijo
Profound
- Devolver una respuesta 4xx al User-Agent del bot en
/sitemap.xml, /sitemap_index.xml, /sitemap-index.xml y /robots.txt
Notificación de abusos
Si observas un comportamiento que no coincide con esta documentación, como solicitudes de recursos distintos de los archivos de sitemap y robots.txt, tasas de solicitudes que parezcan un rastreo o actividad de un User-Agent Profound* no reconocido, notifícalo a security@tryprofound.com con líneas de registro de ejemplo.
Profound trata estos informes como problemas de seguridad y responde a todos ellos. 
