> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tryprofound.com/llms.txt
> Use this file to discover all available pages before exploring further.

# クローラーの検証

> AI および検索エンジンのクローラーを検証する方法

## クローラーの検証プロセス

Web サイトに誰がアクセスしているかを把握することは、セキュリティとアナリティクスの正確性にとって非常に重要です。Profound Agent Analytics プラットフォームは、主要な AI プラットフォームや検索プラットフォームからのものと名乗るクローラーが本物であることを確認するために、堅牢な検証手法を採用しています。

## 検証が重要な理由

クローラーを正確に識別することは、次の点で不可欠です。

* 悪意のある攻撃者から Web サイトを保護する

* アナリティクスのデータの正確性を確保する

* リソースの割り当てを効果的に管理する

* セキュリティコンプライアンスを維持する

* 正規の AI プラットフォーム向けにコンテンツ配信を最適化する

## 検証方法

### 主な検証手法

Profound のプラットフォームでは、正確性を確保するために複数の検証方法を採用しています。

1. **逆引き DNS ルックアップ**

   * クローラーのホスト名が、名乗っている組織と一致することを検証します

   * 真正性チェックのレイヤーをさらに追加します

   * Google や Apple などの主要なプラットフォームで使用されています

2. **IP 範囲の検証**

   * クローラーが組織の既知の IP 範囲から発信されていることを確認します

   * OpenAI や You.com などのプラットフォームで特に効果的です

   * 正確性を維持するために定期的に更新されます

3. **ヒューリスティック検出**

   * クローラーの行動パターンを分析します

   * 特徴的なシグネチャを識別します

   * 検証方法を公開していないクローラーの検証に役立ちます

## プラットフォームごとの検証

### 完全に検証済みのプラットフォーム

* [**Google**](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)

  * Google-CloudVertexBot: 逆引き DNS 検証

  * Googlebot: 逆引き DNS 検証 + ASN 検証

  * Google-Extended: 逆引き DNS 検証

  * Storebot-Google: 逆引き DNS 検証

  * Googlebot-News: 逆引き DNS 検証

  * Googlebot-Video: 逆引き DNS 検証

  * Googlebot-Image: 逆引き DNS 検証

  * Google-NotebookLM: ASN 検証

  * Google-Agent: 逆引き DNS 検証 + IP 範囲検証 + ASN 検証

  * GoogleAgent-Mariner: IP 範囲検証

  * Google-Other: ヒューリスティック検出のみ

* [**Microsoft Bing**](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0)

  * BingBot: 逆引き DNS 検証

  * MicrosoftPreview: 逆引き DNS 検証

* [**Apple**](https://support.apple.com/en-us/119829)

  * Applebot: 逆引き DNS 検証 + IP 範囲検証

  * Applebot-Extended: 逆引き DNS 検証 + IP 範囲検証

* [**OpenAI**](https://platform.openai.com/docs/bots)

  * OAI-SearchBot: IP 範囲検証 + ASN 検証

  * ChatGPT-User: IP 範囲検証 + ASN 検証

  * GPTBot: IP 範囲検証 + ASN 検証

  * OAI-Operator: ASN 検証

* [**Duck Duck Go**](https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot)

  * DuckDuckBot: IP 範囲検証

  * DuckAssistBot: ASN 検証

* [**Perplexity**](https://docs.perplexity.ai/guides/bots)

  * PerplexityBot: IP 範囲検証

  * Perplexity-User: IP 範囲検証

* [**Meta**](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/#identify-2)

  * Meta-ExternalAgent: ASN 検証

  * Meta-ExternalFetcher: ASN 検証

  * Meta-WebIndexer: ASN 検証

  * FacebookBot: ヒューリスティック検出のみ

* [**Amazon**](https://developer.amazon.com/amazonbot)

  * AmazonBot: 逆引き DNS 検証 + IP 範囲検証

  * Amazon-SearchBot: IP 範囲検証

  * Amazon-User: IP 範囲検証

  * AmazonBuyForMe: ASN 検証

### 部分的に検証済みのプラットフォーム

一部のプラットフォームは一般的なクラウドプロバイダーの IP を使用している、または検証方法を公開していないため、完全な検証は困難です。

* [**Anthropic**](https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)

  * ClaudeBot: ASN + ヒューリスティック検出

  * Claude-User: ASN + ヒューリスティック検出

  * Claude-SearchBot: ASN + ヒューリスティック検出

* **You.com**

  * YouBot: 逆引き DNS 検証 + IP 範囲検証

* **Bytedance**

  * Bytespider: 逆引き DNS 検証

  * TikTokSpider: ヒューリスティック検出のみ

* [**Common Crawl**](https://commoncrawl.org/ccbot)

  * CCBot: IP 範囲検証

* **Yahoo**

  * Slurp: 逆引き DNS 検証

* **OpenClaw**

  * OpenClaw: ヒューリスティック検出のみ

* **DeepSeek**

  * DeepSeek: 逆引き DNS 検証

* **Baidu**

  * BaiduSpider: 逆引き DNS 検証

* **Huawei**

  * PetalBot: ASN 検証

* [**Mistral**](https://docs.mistral.ai/robots)

  * MistralAI-User: IP 範囲検証

* **Yandex**

  * YandexBot: IP 範囲検証

* **Gemini**

  * Google: ヒューリスティック検出

  * Gemini-Deep-Research: 逆引き DNS 検証 + ASN 検証

## 最新情報

Profound のプラットフォームでは、次のような状況に応じて検証方法を継続的に更新しています。

* 新しい AI プラットフォームの登場

* 既存のプラットフォームによるクローラーインフラストラクチャの変更

* 追加の検証方法の利用開始

* セキュリティ要件の変化

## データの更新に関する重要な注意事項

AI クローラーを取り巻く状況の変化に合わせて、Profound は検証プロセスを継続的にモニタリングし、改善しています。検出方法やクローラーの識別手法の強化に伴い、過去および現在のアナリティクスデータに変化が見られる場合があります。これらの更新は、可能な限り正確で信頼性の高いクローラー識別を提供するという Profound の取り組みを反映したものです。

データに大きな変化が見られた場合、それは検証システムの改善によるものである可能性が高いです。サイトにおける AI クローラーの行動に関する最新のインサイトを把握するため、アナリティクスダッシュボードを定期的に確認することをお勧めします。