> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tryprofound.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Profound Knowledge Base Fetcher

> ボットが取得する内容、実行タイミング、サイト運営者がボットを識別またはブロックする方法

Profound Knowledge Base Fetcher は、Web サイトを [Knowledge Base](https://docs.tryprofound.com/ja-jp/context-manager/manage-knowledge-bases.md) にインポートする際に、そのサイトのサイトマップを読み取る HTTP エージェントです。また、Knowledge Base にすでに含まれている PDF ファイルを再ダウンロードし、変更されているかどうかを確認します。

## 概要

| | |
| - | - |
| **User-Agent 文字列** | `ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)` |
| **トリガー** | ユーザーが起動するサイトマップのインポート、およびインポートしたフォルダーまたはページで有効になっている場合の自動同期 |
| **スケジュール** | インポートしたフォルダーまたはページに対して選択した自動同期の頻度(毎日、毎週、毎月)でのみ実行されます。デフォルトはオフです |
| **取得するリソース** | サイトマップファイルとそれらが参照する子サイトマップ、および Knowledge Base にすでにインポートされている PDF ファイル |
| **ネットワークの発信元** | AWS。固定 IP の許可リストは提供されていません |

## 機能

**Crawl Website** の **Sitemap** タブで Web サイトをインポートすると、フェッチャーは入力されたサイトマップの URL と、サイトマップインデックスに記載されている子サイトマップをリクエストします。Profound は、見つかったページの URL をインポート用のキューに追加します。

フェッチャーはサイトマップファイルのみを読み取るため、**Sitemap URL** が `.xml` または `.xml.gz` で終わる場合に実行されます。代わりにドメインのみを入力した場合、Profound は別の方法でサイトのページを検出し、このフェッチャーは使用されません。

`https://` は省略でき、その場合はフェッチャーが追加します。最初の試行でページが見つからず、アドレスに `www.` が含まれていない場合、フェッチャーは `www.` を追加して再試行します。

自動同期がオンの場合、フェッチャーは同期の実行ごとにサイトマップを再度読み取り、追加または削除されたページを検出します。また、Web からインポートされた各 PDF をその頻度でダウンロードし、バイト列のフィンガープリントを以前のバージョンと比較します。Profound は変更されたファイルのみを処理します。

## 行わないこと

* **HTML ページ**、画像、スクリプト、スタイルシートの取得。ページのコンテンツは別途取得されます
* **`robots.txt` の読み取り**
* **フォームの送信**、ログインフローの実行、認証が必要な領域へのアクセス
* **JavaScript の実行**やヘッドレスブラウザの使用
* **プライベートまたは内部ネットワークの対象へのアクセス**

## リクエストの動作

| | |
| - | - |
| **リクエストごとのタイムアウト** | 20 秒 |
| **リダイレクト** | 手動でたどります(最大 5 ホップ) |
| **同時実行** | サイトマップファイルは 1 つずつ取得されます。自動同期中は最大 10 件のドキュメントが同時に同期されるため、最大 10 件の PDF ダウンロードが並行して実行される可能性があります |
| **サイトマップの上限** | 1 回のインポートにつき最大 50 個のサイトマップファイルと 3 階層のネスト、1 ファイルあたり 20 MB |
| **PDF の上限** | 1 ファイルあたり 200 MB |
| **キャッシュ** | なし。インポートまたは同期のたびに新しいリクエストを送信します |

### 送信されるヘッダー

```txt wrap theme={null}
User-Agent: ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)
Accept-Encoding: gzip, deflate
```

PDF のフィンガープリントのリクエストでは、代わりに `Accept-Encoding: identity` を送信します。

## ボットを識別する方法

次の正確な User-Agent ヘッダーを使用します。

```txt wrap theme={null}
User-Agent: ProfoundKnowledgeBase/1.0 (+https://docs.tryprofound.com/bots)
```

> [!TIP]
>
> すべての Profound ボットは `Profound` で始まる User-Agent 文字列を使用するため、`Profound` でのプレフィックス照合は、現在および将来のすべての Profound トラフィックを識別するのに適した方法です。

## ブロックする方法

次のいずれかの方法でフェッチャーをブロックできます。

* `ProfoundKnowledgeBase` を含む User-Agent に一致する Web アプリケーションファイアウォール(WAF)またはコンテンツ配信ネットワーク(CDN)のルール
* プレフィックス `Profound` を含む User-Agent に一致する WAF または CDN のルール

## 不正利用の報告

HTML ページへのリクエスト、クロールのように見えるリクエスト頻度、認識できない `Profound*` User-Agent からのアクティビティなど、このドキュメントと一致しない動作を確認した場合は、ログの例を添えて [security@tryprofound.com](mailto:security@tryprofound.com) までご報告ください。

Profound はこれらの報告をセキュリティ上の問題として扱い、すべての報告に対応します。