Profound Sheets Sitemap Importer は、ユーザーが起動する HTTP エージェントで、Web サイトのサイトマップを取得し、その URL を Profound Sheet にインポートします。このボットは、認証済みの Profound ユーザーが Profound プラットフォームの Sheets セクションで + Create new → Sitemap をクリックし、サイトの URL を指定した場合にのみ実行されます。
Web サイトのオリジン URL を指定して起動すると、Sitemap Importer は、サイトのサイトマップを見つけて読み取るために、小規模で限定的な数の HTTP GET リクエストを送信します。次の URL を順番に試します。
https://{origin}/sitemap.xmlhttps://{origin}/sitemap_index.xmlhttps://{origin}/sitemap-index.xmlhttps://{origin}/robots.txt(Sitemap: ディレクティブのみを解析し、候補リストに追加します)- サイトマップインデックスが参照する子サイトマップ
.xml で終わる URL を入力した場合、インポーターはその URL も直接試します。
有効な XML サイトマップとして解析できた最初のレスポンスが使用されます。そこに含まれる URL が、インポート用にお客様に返されます。インポーターは、サイトマップのコンテンツを保存、キャッシュ、再配布、または再公開しません。
行わないこと
- HTML ページ、画像、スクリプト、スタイルシート、その他のアセットの取得
- フォームの送信、ログインフローの実行、認証が必要な領域へのアクセス
- JavaScript の実行やヘッドレスブラウザの使用
- サイトマップインデックスから子サイトマップへのリンクを超えた再帰的なクロール
- サイトの長期的なインデックスの保持
リクエストの動作
各インポート操作により、単一のオリジンに限定された少数のリクエストが短時間に送信されます。
送信されるヘッダー
ボリュームと頻度
Importer からのトラフィックは、すべてお客様のアクティビティによって発生します。継続的なクロールはありません。一般的なやり取りでは数件のリクエストが送信され、その後は別のインポート操作で同じサイトが対象になるまで、Importer がオリジンに再度アクセスすることはありません。
robots.txt の扱い
インポーターは robots.txt を読み取り、Sitemap: ディレクティブで宣言されたサイトマップの URL を検出します。サイトマッププロトコルではサイトマップファイルは公開されて検出可能なものとして扱われるため、サイトマップファイルに対して Disallow ルールを評価することはありません。
インポーターによるサイトへのアクセスを防ぐには、ブロックする方法のセクションをご覧ください。
ボットを識別する方法
次の正確な User-Agent ヘッダーを使用します。
すべての Profound ボットは Profound で始まる User-Agent 文字列を使用するため、Profound でのプレフィックス照合は、現在および将来のすべての Profound トラフィックを識別するのに適した方法です。
ブロックする方法
次のいずれかの方法でインポーターをブロックできます。
- User-Agent が
ProfoundSheetsSitemapImporter/1.0 と一致する WAF または CDN のルール
- プレフィックス
Profound を含む User-Agent に一致する WAF または CDN のルール
/sitemap.xml、/sitemap_index.xml、/sitemap-index.xml、/robots.txt で、ボットの User-Agent に対して 4xx レスポンスを返す
不正利用の報告
サイトマップや robots.txt ファイル以外のリソースへのリクエスト、クロールのように見えるリクエスト頻度、認識できない Profound* User-Agent からのアクティビティなど、このドキュメントと一致しない動作を確認した場合は、ログの例を添えて security@tryprofound.com までご報告ください。
Profound はこれらの報告をセキュリティ上の問題として扱い、すべての報告に対応します。 
