Profound Knowledge Base Fetcher は、Web サイトを Knowledge Base にインポートする際に、そのサイトのサイトマップを読み取る HTTP エージェントです。また、Knowledge Base にすでに含まれている PDF ファイルを再ダウンロードし、変更されているかどうかを確認します。
Crawl Website の Sitemap タブで Web サイトをインポートすると、フェッチャーは入力されたサイトマップの URL と、サイトマップインデックスに記載されている子サイトマップをリクエストします。Profound は、見つかったページの URL をインポート用のキューに追加します。フェッチャーはサイトマップファイルのみを読み取るため、Sitemap URL が .xml または .xml.gz で終わる場合に実行されます。代わりにドメインのみを入力した場合、Profound は別の方法でサイトのページを検出し、このフェッチャーは使用されません。
https:// は省略でき、その場合はフェッチャーが追加します。最初の試行でページが見つからず、アドレスに www. が含まれていない場合、フェッチャーは www. を追加して再試行します。自動同期がオンの場合、フェッチャーは同期の実行ごとにサイトマップを再度読み取り、追加または削除されたページを検出します。また、Web からインポートされた各 PDF をその頻度でダウンロードし、バイト列のフィンガープリントを以前のバージョンと比較します。Profound は変更されたファイルのみを処理します。
行わないこと
HTML ページ 、画像、スクリプト、スタイルシートの取得。ページのコンテンツは別途取得されますrobots.txt の読み取りフォームの送信 、ログインフローの実行、認証が必要な領域へのアクセスJavaScript の実行 やヘッドレスブラウザの使用プライベートまたは内部ネットワークの対象へのアクセス
リクエストの動作 送信されるヘッダー PDF のフィンガープリントのリクエストでは、代わりに Accept-Encoding: identity を送信します。
ボットを識別する方法 次の正確な User-Agent ヘッダーを使用します。
すべての Profound ボットは Profound で始まる User-Agent 文字列を使用するため、Profound でのプレフィックス照合は、現在および将来のすべての Profound トラフィックを識別するのに適した方法です。
ブロックする方法 次のいずれかの方法でフェッチャーをブロックできます。
ProfoundKnowledgeBase を含む User-Agent に一致する Web アプリケーションファイアウォール(WAF)またはコンテンツ配信ネットワーク(CDN)のルールプレフィックス Profound を含む User-Agent に一致する WAF または CDN のルール
不正利用の報告 HTML ページへのリクエスト、クロールのように見えるリクエスト頻度、認識できない Profound* User-Agent からのアクティビティなど、このドキュメントと一致しない動作を確認した場合は、ログの例を添えて security@tryprofound.com までご報告ください。
Profound はこれらの報告をセキュリティ上の問題として扱い、すべての報告に対応します。 
