利用可能なプラン: すべてのプラン場所: Analytics > Answer Engine Insights > FactCheck タブ
AI がブランドについて誤った情報を伝えるとき
ChatGPT、Perplexity、Gemini などの AI 検索エンジンは、リンクを表示するだけでなく、ブランドについて直接主張します。製品の機能、料金、ポリシー、サービス条件を事実として説明するのです。その主張が誤っていれば、顧客はウェブサイトにたどり着く前に誤った情報を受け取ってしまいます。そして多くの場合、不正確さは AI が情報をでっち上げたことによるものではありません。ブランド自身が公開しているコンテンツが古くなっていることが原因なのです。
問題は、専用のツールなしにこれを大規模に監視することはほぼ不可能だという点です。ブランドは AI が時々誤ることを経験的に知っていても、その頻度、影響を受けるプロンプト、原因となる情報源を体系的に測定する手段を持っていません。その情報がなければ、修正への明確な道筋はありません。コンテンツチームは問題のあるページがわからなければ更新できず、ブランドチームは裏付けとなるデータがなければ正確性について報告できません。
規制対象の製品、複雑な料金体系、頻繁に更新されるポリシーを持つブランドなど、事実が最も重要なブランドにとって、このギャップは特に大きな損失につながります。
FactCheck の仕組み
FactCheck は、これまで別々だった 3 つの要素、つまり主張の抽出、信頼できる情報源による検証、引用元の特定を一体化します。
Profound は、FactCheck タグを付けたすべてのプロンプトについて AI エンジンがブランドについて述べている主張を取得し、各主張を Knowledge Base と照合して、正確、不正確、または関連なしに分類します。検証対象となるのは、事実に基づき、対応可能で、それ以上分割できない主張のみです。各主張は、信頼できる情報源で肯定または否定できる 1 つの事柄を述べている必要があります。主観的な記述は、代わりに Sentiment に振り分けられます。
不正確な主張ごとに、FactCheck はその原因となっていると思われる AI 回答内の具体的な引用 URL までさかのぼって追跡します。引用 URL があることで、データが実用的なものになります。AI が誤ったことを言っていると知るだけでなく、Knowledge Base 内のどのページやドキュメントが問題の原因である可能性が高いかがわかるのです。
不正確な点を特定したら、FactCheck のビューから直接 Profound Agent を実行して、アウトリーチ文の下書き、Knowledge Base の更新、コンテンツの作成など、アンサーエンジンがブランドに関する正しい情報を見つけられるようにするための対応を進められます。
主な機能
主張の抽出と検証
FactCheck は、FactCheck タグを付けたプロンプトへの回答の中で AI エンジンがブランドについて述べている具体的な主張を自動的に抽出します。主張は、事実に基づき、対応可能で、それ以上分割できない、つまりそれぞれが検証可能な 1 つの事柄を述べているものに絞り込まれます。主観的な主張は、代わりに Sentiment に振り分けられます。
その後、各主張は Knowledge Base と照合され、正確、不正確、または関連なしに分類されます。これにより、個々の回答を手作業でレビューすることなく、AI がどこで正しく、どこで誤っているかを構造化された一貫した形で把握できます。
テーマ別の主張のクラスタリング
FactCheck は何千もの個々の主張を並べるのではなく、類似した主張をテーマごとにグループ化します。これによりデータがはるかに理解しやすくなり、どのトピック領域で正確性の問題が最も多いかを把握できます。生の主張リストを精査しなくても、たとえば解約ポリシーに関する主張のほうが料金に関する主張よりも大きな問題であることが一目でわかります。
引用単位の正確性の内訳
不正確な主張ごとに、FactCheck は AI 回答内のどの引用 URL がその不正確さに関連しているかを示します。この機能によって、FactCheck のデータはコンテンツチームにとって直接的なアクション項目になります。何かが間違っていることだけでなく、どのページを更新すべきかがわかります。
正確性の概要とメトリクス
Accuracy Overview セクションでは、先週から今週にかけて何が変わったか(期間はカスタマイズ可能)を確認できます。Accuracy Score と Share、上位の不正確な主張、テーマごとの変化、レポート期間ごとの比較が表示されます。不正確な主張をクリックすると、その主張が誤っている理由、Knowledge Base に基づく正しい情報、そして Knowledge Base 内で正しい情報が定義されているすべての箇所を確認できます。
ユーザーフィードバックの仕組み
不正確とマークされた主張が実際には正しい場合は、FactCheck の UI から直接報告すると、その主張はビューから削除されます。追跡したくない主張は、関連なしとしてマークできます。Profound はこのフィードバックを活用して、主張の検証精度を継続的に改善しています。
主張のビューから Agents を直接実行する
不正確な主張のビューから直接アクションを起こせます。Agent を実行して、引用元へのアウトリーチ文を下書きしたり、自社のコンテンツを更新したり、不正確な点に対処する新しいコンテンツを作成したりできます。
