はじめに

本日の朝礼では、AI検索エンジンのクローリング技術に関する海外事例を取り上げました。ChatGPTやパープレキシティなどの一部AIブラウザが、高度なクローリング技術により会員限定記事の内容まで取得できるという報告が出ています。

通常、ユーザーがブラウザでアクセスすると「ログインしてください」と表示される会員限定記事でも、AIボットは技術的にコンテンツを取得できるケースがあります。この問題は、サイト運営者にとって無視できない課題です。

海外で報告されている事例

対話型では拒否されるがボットは取得可能

ChatGPTに対話形式で「この会員限定記事の内容を教えて」と依頼すると、「会員限定記事のため取得できません」と拒否されます。しかし、AIボットがクローリングを行う際には、この制限をすり抜けて記事内容を取得できる場合があることが海外で確認されています。

ChromeやSafariでは見えないコンテンツが取得される

一般的なブラウザ(ChromeやSafari)でアクセスした場合、ログイン画面や課金ページが表示され、コンテンツ本文は見られません。しかしAIボットは、サイトの構造やサーバー設定によっては、人間のユーザーがアクセスできない範囲まで巡回し、データを取得してしまいます。

サイト運営者が注意すべき設計上の問題点

XMLサイトマップに記事本文が含まれている

限定公開しているサイトでも、XMLサイトマップの設計ミスにより記事本文がそのまま含まれている場合、ボットは簡単に全文を取得できます。サイトマップは検索エンジンに情報を伝えるための仕組みですが、設計を誤ると意図しない情報漏洩につながります。

サーバー設定やシステム設計の不備

サーバーやシステムの設定で、画像やコンテンツへの直接アクセスが制限されていない場合、AIボットはURLを順次巡回してすべてのデータを取得できます。人間がリンクを一つずつクリックしていく必要がある仕組みでも、AIは全URLを自動でクロールするため、防御が不十分だと簡単に突破されます。

限定公開コンテンツを運用する際の注意点

ブログやメディアで限定記事を公開する際は、単にログイン画面を設置するだけでは不十分です。サーバー側で適切なアクセス制御を行い、ボットに対しても確実にコンテンツを保護する設計が必要です。

現状の限定コンテンツ/著作権保護等の動き

音楽業界ではAIによる無断利用に対して訴訟や差し止め請求を行われている場合もあるようです。こうした法的対応は今後整備されていくと考えられますが、現状ではサイト運営者自身が技術的な対策を講じる必要があります。

bonの考え

AIエンジン最適化(AEO)を進める上で、コンテンツの適切な公開範囲の設計は重要な課題です。bonでは、ChatGPTを第一に考えたAEO対策を推奨していますが、同時にコンテンツ保護も両立させる必要があります。

限定公開コンテンツを運用する際は、以下の点を確認すべきです。

• XMLサイトマップに本文が含まれていないか

• サーバー設定でボットのアクセスが適切に制限されているか

• ログイン認証がボットレベルで機能しているか

AIクローリング技術は進化を続けており、従来のペイウォール設計では防ぎきれないケースが増えています。サイト設計の段階から、AIボットの挙動を想定した防御策を組み込むことが、今後のメディア運営には不可欠です。

AEO対策とコンテンツ保護は相反するものではなく、適切な設計により両立が可能です。bonでは引き続き、こうした技術動向を注視し、実践的な対策を検討していきます。

引用元:
https://internet.watch.impress.co.jp/docs/yajiuma/2060974.html