クローラーの検証プロセス
Web サイトに誰がアクセスしているかを把握することは、セキュリティとアナリティクスの正確性にとって非常に重要です。Profound Agent Analytics プラットフォームは、主要な AI プラットフォームや検索プラットフォームからのものと名乗るクローラーが本物であることを確認するために、堅牢な検証手法を採用しています。検証が重要な理由
クローラーを正確に識別することは、次の点で不可欠です。- 悪意のある攻撃者から Web サイトを保護する
- アナリティクスのデータの正確性を確保する
- リソースの割り当てを効果的に管理する
- セキュリティコンプライアンスを維持する
- 正規の AI プラットフォーム向けにコンテンツ配信を最適化する
検証方法
主な検証手法
Profound のプラットフォームでは、正確性を確保するために複数の検証方法を採用しています。-
逆引き DNS ルックアップ
- クローラーのホスト名が、名乗っている組織と一致することを検証します
- 真正性チェックのレイヤーをさらに追加します
- Google や Apple などの主要なプラットフォームで使用されています
-
IP 範囲の検証
- クローラーが組織の既知の IP 範囲から発信されていることを確認します
- OpenAI や You.com などのプラットフォームで特に効果的です
- 正確性を維持するために定期的に更新されます
-
ヒューリスティック検出
- クローラーの行動パターンを分析します
- 特徴的なシグネチャを識別します
- 検証方法を公開していないクローラーの検証に役立ちます
プラットフォームごとの検証
完全に検証済みのプラットフォーム
-
Google
- Google-CloudVertexBot: 逆引き DNS 検証
- Googlebot: 逆引き DNS 検証 + ASN 検証
- Google-Extended: 逆引き DNS 検証
- Storebot-Google: 逆引き DNS 検証
- Googlebot-News: 逆引き DNS 検証
- Googlebot-Video: 逆引き DNS 検証
- Googlebot-Image: 逆引き DNS 検証
- Google-NotebookLM: ASN 検証
- Google-Agent: 逆引き DNS 検証 + IP 範囲検証 + ASN 検証
- GoogleAgent-Mariner: IP 範囲検証
- Google-Other: ヒューリスティック検出のみ
-
Microsoft Bing
- BingBot: 逆引き DNS 検証
- MicrosoftPreview: 逆引き DNS 検証
-
Apple
- Applebot: 逆引き DNS 検証 + IP 範囲検証
- Applebot-Extended: 逆引き DNS 検証 + IP 範囲検証
-
OpenAI
- OAI-SearchBot: IP 範囲検証 + ASN 検証
- ChatGPT-User: IP 範囲検証 + ASN 検証
- GPTBot: IP 範囲検証 + ASN 検証
- OAI-Operator: ASN 検証
-
Duck Duck Go
- DuckDuckBot: IP 範囲検証
- DuckAssistBot: ASN 検証
-
Perplexity
- PerplexityBot: IP 範囲検証
- Perplexity-User: IP 範囲検証
-
Meta
- Meta-ExternalAgent: ASN 検証
- Meta-ExternalFetcher: ASN 検証
- Meta-WebIndexer: ASN 検証
- FacebookBot: ヒューリスティック検出のみ
-
Amazon
- AmazonBot: 逆引き DNS 検証 + IP 範囲検証
- Amazon-SearchBot: IP 範囲検証
- Amazon-User: IP 範囲検証
- AmazonBuyForMe: ASN 検証
部分的に検証済みのプラットフォーム
一部のプラットフォームは一般的なクラウドプロバイダーの IP を使用している、または検証方法を公開していないため、完全な検証は困難です。-
Anthropic
- ClaudeBot: ASN + ヒューリスティック検出
- Claude-User: ASN + ヒューリスティック検出
- Claude-SearchBot: ASN + ヒューリスティック検出
-
You.com
- YouBot: 逆引き DNS 検証 + IP 範囲検証
-
Bytedance
- Bytespider: 逆引き DNS 検証
- TikTokSpider: ヒューリスティック検出のみ
-
Common Crawl
- CCBot: IP 範囲検証
-
Yahoo
- Slurp: 逆引き DNS 検証
-
OpenClaw
- OpenClaw: ヒューリスティック検出のみ
-
DeepSeek
- DeepSeek: 逆引き DNS 検証
-
Baidu
- BaiduSpider: 逆引き DNS 検証
-
Huawei
- PetalBot: ASN 検証
-
Mistral
- MistralAI-User: IP 範囲検証
-
Yandex
- YandexBot: IP 範囲検証
-
Gemini
- Google: ヒューリスティック検出
- Gemini-Deep-Research: 逆引き DNS 検証 + ASN 検証
最新情報
Profound のプラットフォームでは、次のような状況に応じて検証方法を継続的に更新しています。- 新しい AI プラットフォームの登場
- 既存のプラットフォームによるクローラーインフラストラクチャの変更
- 追加の検証方法の利用開始
- セキュリティ要件の変化