> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tryprofound.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Profound Knowledge Base Fetcher

> Qué obtiene el bot, cuándo se ejecuta y cómo pueden identificarlo o bloquearlo los operadores de sitios

Profound Knowledge Base Fetcher es un agente HTTP que lee el sitemap de un sitio web cuando importas ese sitio en una [Knowledge Base](https://docs.tryprofound.com/es/context-manager/manage-knowledge-bases.md). También vuelve a descargar los archivos PDF que ya están en una Knowledge Base para comprobar si han cambiado.

## Resumen

| | |
| - | - |
| **Cadena User-Agent** | `ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)` |
| **Activación** | Importaciones de sitemap iniciadas por el usuario y sincronización automática cuando está activada para una carpeta o página importada |
| **Programación** | Solo según la frecuencia de sincronización automática que elijas para una carpeta o página importada: diaria, semanal o mensual. Desactivada de forma predeterminada |
| **Recursos obtenidos** | Archivos de sitemap y los sitemaps secundarios a los que hacen referencia, y archivos PDF ya importados en una Knowledge Base |
| **Origen de red** | AWS, no hay una lista de IP permitidas fija disponible |

## Qué hace

Cuando importas un sitio web con la pestaña **Sitemap** de **Crawl Website**, el fetcher solicita la URL de sitemap que introduces y cualquier sitemap secundario que aparezca en un índice de sitemap. Profound pone en cola para importar las URL de páginas que encuentra.

El fetcher solo lee archivos de sitemap, por lo que se ejecuta cuando la **Sitemap URL** termina en `.xml` o `.xml.gz`. Si en su lugar introduces un dominio sin más, Profound encuentra las páginas del sitio de otra manera y este fetcher no interviene.

Puedes omitir `https://`, y el fetcher lo añade. Si el primer intento no encuentra páginas y la dirección no incluye `www.`, el fetcher vuelve a intentarlo añadiendo `www.`.

Con la sincronización automática activada, el fetcher vuelve a leer el sitemap en cada ejecución de sincronización para detectar páginas nuevas o eliminadas. También descarga, con esa misma frecuencia, cada PDF importado desde la web y compara una huella digital de sus bytes con la versión anterior. Profound procesa solo los archivos que cambiaron.

## Qué no hace

* **Obtener páginas HTML**, imágenes, scripts ni hojas de estilo. El contenido de las páginas se obtiene por separado
* **Leer `robots.txt`**
* **Enviar formularios**, seguir flujos de inicio de sesión ni acceder a áreas autenticadas
* **Ejecutar JavaScript** ni usar un navegador headless
* **Acceder a destinos de redes privadas o internas**

## Comportamiento de las solicitudes

| | |
| - | - |
| **Tiempo de espera por solicitud** | 20 segundos |
| **Redirecciones** | Se siguen manualmente, hasta 5 saltos |
| **Concurrencia** | Los archivos de sitemap se obtienen de uno en uno. Durante la sincronización automática se sincronizan hasta 10 documentos a la vez, por lo que pueden ejecutarse hasta 10 descargas de PDF en paralelo |
| **Límites de sitemap** | Hasta 50 archivos de sitemap y 3 niveles de anidamiento por importación, 20 MB por archivo |
| **Límite de PDF** | 200 MB por archivo |
| **Caché** | Ninguna. Cada importación o sincronización emite solicitudes nuevas |

### Encabezados enviados

```txt wrap theme={null}
User-Agent: ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)
Accept-Encoding: gzip, deflate
```

En su lugar, las solicitudes de huella digital de PDF envían `Accept-Encoding: identity`.

## Cómo identificar el bot

Usa el encabezado User-Agent exacto:

```txt wrap theme={null}
User-Agent: ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)
```

> [!TIP]
>
> Todos los bots de Profound usan cadenas User-Agent que empiezan por `Profound`, por lo que buscar coincidencias con el prefijo `Profound` es una buena forma de identificar todo el tráfico de Profound, actual y futuro.

## Cómo bloquearlo

Bloquea el fetcher con cualquiera de los siguientes métodos:

* Una regla de firewall de aplicaciones web (WAF) o de red de entrega de contenido (CDN) que detecte un User-Agent que contenga `ProfoundKnowledgeBase`
* Una regla de WAF o CDN que detecte un User-Agent que contenga el prefijo `Profound`

## Cómo reportar abusos

Si observas un comportamiento que no coincide con esta documentación, como solicitudes de páginas HTML, tasas de solicitudes que parezcan un rastreo o actividad de un User-Agent `Profound*` no reconocido, repórtalo a [security@tryprofound.com](mailto:security@tryprofound.com) con líneas de registro de ejemplo.

Profound trata estos reportes como problemas de seguridad y responde a todos ellos.