Proceso de verificación de crawlers
Saber quién accede a tu sitio web es fundamental para la seguridad y la precisión de la analítica. La plataforma Profound Agent Analytics emplea métodos de verificación sólidos para garantizar que los crawlers que afirman proceder de las principales plataformas de IA y de búsqueda sean auténticos.Por qué importa la verificación
Una identificación precisa de los crawlers es esencial para:- Proteger tu sitio web de actores maliciosos
- Garantizar la precisión de los datos de tu analítica
- Gestionar eficazmente la asignación de recursos
- Mantener el cumplimiento de seguridad
- Optimizar la entrega de contenido para plataformas de IA legítimas
Métodos de verificación
Técnicas principales de verificación
Nuestra plataforma emplea varios métodos de verificación para garantizar la precisión:-
Búsqueda DNS inversa
- Verifica que el hostname del crawler coincida con la organización declarada
- Proporciona una capa adicional de comprobación de autenticidad
- La usan plataformas consolidadas como Google y Apple
-
Validación de rangos de IP
- Confirma que el crawler procede de los rangos de IP conocidos de la organización
- Especialmente eficaz para plataformas como OpenAI y You.com
- Se actualiza periódicamente para mantener la precisión
-
Detección heurística
- Analiza los patrones de comportamiento de los crawlers
- Identifica firmas características
- Ayuda a verificar crawlers sin métodos de verificación publicados
Verificación por plataforma
Plataformas totalmente verificadas
-
Google
- Google-CloudVertexBot: verificación por DNS inversa
- Googlebot: verificación por DNS inversa + verificación de ASN
- Google-Extended: verificación por DNS inversa
- Storebot-Google: verificación por DNS inversa
- Googlebot-News: verificación por DNS inversa
- Googlebot-Video: verificación por DNS inversa
- Googlebot-Image: verificación por DNS inversa
- Google-NotebookLM: verificación de ASN
- Google-Agent: verificación por DNS inversa + verificación de rango de IP + verificación de ASN
- GoogleAgent-Mariner: verificación de rango de IP
- Google-Other: solo detección heurística
-
Microsoft Bing
- BingBot: verificación por DNS inversa
- MicrosoftPreview: verificación por DNS inversa
-
Apple
- Applebot: verificación por DNS inversa + verificación de rango de IP
- Applebot-Extended: verificación por DNS inversa + verificación de rango de IP
-
OpenAI
- OAI-SearchBot: verificación de rango de IP + verificación de ASN
- ChatGPT-User: verificación de rango de IP + verificación de ASN
- GPTBot: verificación de rango de IP + verificación de ASN
- OAI-Operator: verificación de ASN
-
Duck Duck Go
- DuckDuckBot: verificación de rango de IP
- DuckAssistBot: verificación de ASN
-
Perplexity
- PerplexityBot: verificación de rango de IP
- Perplexity-User: verificación de rango de IP
-
Meta
- Meta-ExternalAgent: verificación de ASN
- Meta-ExternalFetcher: verificación de ASN
- Meta-WebIndexer: verificación de ASN
- FacebookBot: solo detección heurística
-
Amazon
- AmazonBot: verificación por DNS inversa + verificación de rango de IP
- Amazon-SearchBot: verificación de rango de IP
- Amazon-User: verificación de rango de IP
- AmazonBuyForMe: verificación de ASN
Plataformas parcialmente verificadas
Algunas plataformas usan IPs de proveedores de nube comunes o no publican métodos de verificación, lo que dificulta una verificación completa:-
Anthropic
- ClaudeBot: ASN + detección heurística
- Claude-User: ASN + detección heurística
- Claude-SearchBot: ASN + detección heurística
-
You.com
- YouBot: verificación por DNS inversa + verificación de rango de IP
-
Bytedance
- Bytespider: verificación por DNS inversa
- TikTokSpider: solo detección heurística
-
Common Crawl
- CCBot: verificación de rango de IP
-
Yahoo
- Slurp: verificación por DNS inversa
-
OpenClaw
- OpenClaw: solo detección heurística
-
DeepSeek
- DeepSeek: verificación por DNS inversa
-
Baidu
- BaiduSpider: verificación por DNS inversa
-
Huawei
- PetalBot: verificación de ASN
-
Mistral
- MistralAI-User: verificación de rango de IP
-
Yandex
- YandexBot: verificación de rango de IP
-
Gemini
- Google: detección heurística
- Gemini-Deep-Research: verificación por DNS inversa + verificación de ASN
Mantente al día
Nuestra plataforma actualiza continuamente los métodos de verificación a medida que:- Surgen nuevas plataformas de IA
- Las plataformas existentes modifican su infraestructura de crawlers
- Se dispone de métodos de verificación adicionales
- Evolucionan los requisitos de seguridad