このノードを使用する場面
Web Page Scrape は、次のようなタスクに使用します。- 記事、ランディングページ、ブログ投稿、ドキュメントからのコンテンツの収集
- 要約や競合分析のためのテキストの抽出
- 後続の LLM プロンプトで使用する構造化コンテンツの取得
- 他の Workflow ステップに取り込む前の Web ページコンテンツの正規化
ノードの設定
Web Page Scrape ノードを選択すると、Workflow Builder の右側に設定パネルが開きます。このノードには、次のフィールドがあります。URL(必須)
スクレイピングしたい Web ページの URL を入力します。 次のいずれかを行えます。- 固定の URL を貼り付ける
/を入力して変数を挿入し、Workflow の入力や前のステップの出力を参照する
Render Output As
スクレイピングしたコンテンツの形式を選択します。選択肢は次のとおりです。- Markdown – LLM での処理に適した、整形済みの読みやすいテキストを返します
- HTML – ページの HTML 構造を返します
Extract main content
有効にすると、Profound はナビゲーション要素、広告、フッター、定型文、その他の主要ではないコンテンツの除去を試みます。通常、メインの記事や本文に焦点を当てた、より整理された出力が得られます。 フィルタリングせずにページ全体のコンテンツが必要な場合は、このオプションを無効にしてください。Output Label
このステップの出力にわかりやすいラベルを指定します。このラベルが、後続の Workflow ノードで参照する変数名になります。 例:page_contentscraped_markdownraw_html
出力
このノードは、選択した形式でスクレイピングしたページのコンテンツを含む単一のテキスト出力を返します。この出力は、次の用途に使用できます。- Prompt LLM ステップ
- 追加のリサーチノードや解析ノード
- API 呼び出し
- 後続の任意の変換ステップ
使用例
1. Web ページをスクレイピングして要約する
- Web Page Scrape ステップを追加し、分析したいページの URL を設定します。
- 出力形式として Markdown を選択します。
- スクレイピングしたコンテンツを参照する Prompt LLM ステップを追加します。
2. HTML から構造化データを抽出する
- html 形式でページをスクレイピングします。
- 抽出の指示とともに、HTML を Prompt LLM ステップに渡します。
ベストプラクティス
- AI ですぐに使える最も整理されたテキストを得るには、Markdown 出力 を使用してください。
- 記事形式のページを対象とする場合は、Extract main content を有効にしてください。
- スクレイピングに失敗した場合は、URL が公開されていて、認証が不要であることを確認してください。
- 後続のステップでの参照を簡単にするために、出力ラベルは明確でわかりやすいものにしてください。
トラブルシューティング
スクレイピングしたコンテンツが空または不完全である
ページがクライアントサイドレンダリングに大きく依存している場合や、スクレイピング対策が施されている場合に発生することがあります。より未加工のコンテンツを取得するために、html 出力に切り替えてみてください。出力に定型文が含まれている
不要な内容を減らすために、Extract main content が有効になっていることを確認してください。URL に含まれる変数が解決されない
/ を入力してサポートされている変数を挿入し、パラメーター名の不一致を避けてください。