Skip to main content
ProfoundBot は、ユーザーが起動する HTTP エージェントです。Profound プラットフォームまたは API を通じて URL を指定すると、その公開 Web ページを取得し、コンテンツを Markdown または HTML(あるいはその両方)で返します。

​
概要

​
機能

コンテンツを読み取るために公開 Web ページの URL を指定すると、ProfoundBot はその URL のオリジンに対して限られた数の HTTP リクエストを送信してページを取得し、コンテンツを Markdown、HTML、またはその両方で返します。 ページがヘッドレスブラウザでレンダリングされる場合、そのページ自体のサブリソース(スクリプト、スタイルシート、画像)は、通常のブラウザと同様に読み込まれます。ProfoundBot は他のページへのリンクをたどりません。

​
行わないこと

  • クロール。 お客様の 1 回の操作で取得する URL は 1 つだけです。ボットはリンクを再帰的にたどったり、サイトのインデックスを構築したりしません
  • フォームの送信、ログインフローの実行、認証が必要な領域へのアクセス
  • サイトの長期的なインデックスの保持。取得したコンテンツはお客様に提供され、再公開されることはありません
  • プライベートまたは内部ネットワークの対象へのアクセス

​
リクエストの動作

ユーザーの各操作により、リクエストされた単一の URL に限定された、小規模で限定的なやり取りが発生します。

​
ネットワークの発信元と専用 IP

デフォルトでは、ProfoundBot は動的な IP 範囲から送信されます。User-Agent で識別してください。 ドメインを登録すると(ドメインごとの設定で、デフォルトはオフ)、ProfoundBot はそのドメインを固定された専用の送信元 IP から取得します。これは、User-Agent ではなく IP で Profound を許可リストに登録したい場合に便利です。ドメインが登録されている場合、リクエストは次のいずれかの IP から送信されます。
  • 54.71.251.60
  • 54.185.59.110
  • 100.22.234.65
これらの専用 IP は、機械可読な JSON 形式でも提供されています。
専用 IP での取得にドメインを登録するには、Profound アカウントの Settings → Web Scrape に移動し、Primary Domain Scraping via Static IPs 設定を On に切り替えます。

​
robots.txt の扱い

ProfoundBot はユーザーが起動するもので、クロールではなく、ユーザーの操作ごとに 1 ページを取得します。robots.txt の Disallow ディレクティブへの対応は、今後のリリースで予定されています。 それまでの間に ProfoundBot によるサイトへのアクセスを防ぐには、ブロックする方法のセクションをご覧ください。

​
ボットを識別する方法

次の正確な User-Agent ヘッダーを使用します。
すべての Profound ボットは Profound で始まる User-Agent 文字列を使用するため、プレフィックスでの照合は、現在および将来のすべての Profound トラフィックを識別するのに適した方法です。登録済みのドメインについては、ネットワークの発信元と専用 IP セクションに記載されている専用の送信元 IP で照合することもできます。

​
ブロックする方法

次のいずれかの方法で ProfoundBot をブロックできます。
  • ProfoundBot を含む User-Agent に一致する WAF または CDN のルール
  • プレフィックス Profound を含む User-Agent に一致する WAF または CDN のルール
  • 登録済みのドメインの場合、専用の送信元 IP(54.71.251.60、54.185.59.110、100.22.234.65)をブロックするファイアウォールまたは WAF のルール

​
不正利用の報告

再帰的なクロール、ユーザー起動の単一ページ取得とは一致しないリクエスト頻度、認識できない Profound* User-Agent からのアクティビティなど、このドキュメントと一致しない動作を確認した場合は、ログの例を添えて security@tryprofound.com までご報告ください。 Profound はこれらの報告をセキュリティ上の問題として扱い、すべての報告に対応します。