はじめに

Profound は、お客様に代わって Web 上の公開データを取得する少数の自動 HTTP エージェントを運用しています。このセクションでは、各ボットについて、その機能、実行タイミング、そしてサイト運営者がボットを識別、許可、またはブロックする方法を説明します。

​

稼働中のボット

​

ボットの運用ルール

すべての Profound ボットは、同じ運用ルールに従います。

• 公開データのみ: ボットは、一般に読み取り可能であることを意図したリソース(例: sitemap.xml、robots.txt、公開 HTML ページ)を取得します。認証が必要な領域へのアクセスを試みたり、フォームを送信したり、アクセス制御を回避したりすることはありません。
• User-Agent による識別: すべてのボットは、Profound で始まる名前を持つ、安定したわかりやすい User-Agent ヘッダーを送信します。サイト運営者はそのプレフィックスで照合することで、Profound のすべてのトラフィックを識別できます。
• robots.txt の認識: ボットは、取得元のすべてのホストの robots.txt を読み取ります。HTML ページをクロールするボットは、Disallow ディレクティブに従います。
• 開示なしに継続的なクロールを行わない: スケジュールに従って実行される、リンクを再帰的にたどる、またはインデックスを保持するボットについては、このセクションに専用のページを設け、その動作を詳しく説明しています。