Aller au contenu principal

AI・予測

分析の流れのどこでAIは役立ち、どこで数字を作ってしまうのか

収集・計測・分析・解釈・意思決定・最適化という流れに沿って、AIに任せられること、補助させて確認すべきこと、人が持ち続けることを整理します。個人情報や法規制に関する留意点も扱います。

AI Reasoning Boundaries 編集部 14 min de lecture

要点

  • 対話型AIが作るのは「もっともらしい文章」であり、計算された結果ではありません。クエリ、数式、要約の作成には大いに役立ちますが、確認に最もコストがかかる場面で誤りやすい道具です。
  • 収集 → 計測 → 分析 → 解釈 → 意思決定 → 最適化という流れでは、意思決定に近づくほど任せられる範囲が狭まります。AIが補助するのは主に中間の工程で、決めるのは人です。
  • 結果を自動のチェックですばやく確かめられ、誤りのコストが小さく元に戻せる作業は、任せられます。そうでなければ、補助にとどめるか、人が持ち続けます。
  • 個人情報保護法、GDPR、EUのAI規則に由来する留意点があります。外部のツールに送るのは集計済みのデータだけにし、境界線上のケースは法務の専門家に確認してください。

言語モデルはなぜ数字を作ってしまうのか

架空の回答を一つ挙げます。チャネル別のセッション数を5行、AIアシスタントに貼り付けて、合計を尋ねたときに返ってくるようなものです。5つの値は4,320、3,870、2,950、1,640、1,490で、正しい合計は14,270です。ところがアシスタントは落ち着いた口調で、説明を一文添えて「14,720」と答えます。差は450セッション、およそ3.2%です。気づかれずに通るほど小さく、期間どうしの比較を狂わせるには十分な大きさです。

この仕組みは一般的なものです。言語モデルは、文章の続きとして最もありそうな語を、一語ずつ生成します。正しい足し算と、間違っているがもっともらしい足し算は、計算ツールを使うかコードを実行しない限り、モデルにとっては同じように見えます。コードを実行する場合でも、計算されるのはコードが求めた内容です。フィルターの条件が間違っていたり、結合で行が重複したり、ユーザーとセッションを取り違えたりすれば、間違った問いに対して小数点まで正確な結果が返ってきます。同じ種類の誤りに、使っているツールに存在しない(あるいはもう存在しない)イベント名、レポート名、メニュー名の提示があります。

だからといって、これらのツールを使わないという結論にはなりません。工程ごとにどう確かめるかを先に決める、ということです。2分で確認できる結果は、任せてよい作業です。誤りが3か月後に予算配分のゆがみとして初めて表れる結果は、任せてはいけない作業です。

分析の流れに沿った全体像

次の表は、工程ごとに、AIが役立つ使い方、うまくいかない可能性のある点、妥当な任せ方の水準をまとめたものです。

工程役立つ使い方主なリスク推奨する水準
収集計測設計(タグ設計)の初稿、命名規則必要以上に集める、同意を無視する補助
計測正規表現、SQLクエリ、数式の作成誤っているがもっともらしいクエリ補助し、合計を突き合わせる
分析機械的なデータ整形、異常検知、クロス集計行の欠落や重複、誤警報確認できるものは任せ、それ以外は補助
解釈ダッシュボードの要約、仮説の提案でっち上げられた因果のストーリー補助
意思決定選択肢と反論の列挙自動化バイアス、責任の拡散人が持ち続ける
最適化テストの案出し、シナリオ、枠を決めた実行間違った目標を最適化する実行は任せ、目標は人が持つ

収集と計測

タグ設計では、機械的な部分でアシスタントが時間を節約してくれます。命名規則の提案、業務上のアクションの一覧からのパラメーターの導出、重複の指摘などです。一方で、何を収集するのが正当かは決められません。利用目的、法的な根拠、同意の扱いは組織が判断することで、GA4のタグ設計は誰かが責任をもって承認する文書であり続けます。AI特有のリスクもあります。初期設定のままだと、イベントとパラメーターの豊富なリストを提案しがちで、データ最小化の考え方に反する方向へ流れることです。

計測の工程では、アシスタントはGoogleタグマネージャーのトリガーに使う正規表現や、GA4のBigQueryエクスポートに対するSQLクエリ、CACの数式を上手に書きます。もっともらしいが誤ったクエリというリスクへの対策が、突き合わせ(リコンサイル)です。チャネル別の合計は全体の合計と一致していなければならず、数えた受注件数は基幹システムの件数と合っていなければならず、既知の3件の注文は結果の中に見つかる必要があります。GA4の画面とエクスポートのあいだには、Googleのドキュメントが説明している軽微な差異があります。数ポイントのずれは誤りの証拠とは限りませんが、30%のずれは誤りです。

分析と解釈

データ整形は、確認できるので任せるのに向いています。3通りに書かれたUTMキャンペーン名を揃える、重複を除く、日付形式を変換する、といった作業です。確認は機械的にできます。前後で行数が同じ(違うなら理由が説明できる)こと、合計が同じことです。異常検知は補助の領域です。GA4の自動インサイト(Google アナリティクスのヘルプに説明があります)は候補を知らせてくれます※1。それに、自分で管理できる期待値の帯を組み合わせ、各アラートを元データで確かめます。やり方は異常検知の記事にまとめました。

解釈は、物語への期待が強いために、AIが最も作り話をしやすい工程です。コンバージョンの表を貼って「3月に何が起きたのか」と尋ねれば、誰も観測していない原因を含んだ、筋の通った話が返ってきます。よい使い方は、因果に触れる文ごとに、それを支えるデータを示させることです。提案された原因は、検証すべき仮説として扱います。ダッシュボードの要約(「この期間の主な変化を3つ説明して」)はより安全な使い方ですが、引用された数字を画面と照らして読み直すことが条件です。

意思決定と最適化

意思決定が人の手に残るのは、信頼性だけでなく責任の問題でもあります。なぜ予算を動かしたのかを説明できる人が必要です。アシスタントは選択肢と反論を列挙できますが、裁定してはいけません。具体例を挙げます。テストの勝者を判断するとき、アシスタントはテスト前に決めておくサンプルサイズの考え方を思い出させてくれます。しかしテストを止めるかどうか、展開するかどうかは、誤りのコストを知っている人が決めます。

最適化は、二つの姿勢を組み合わせます。バリエーションの生成(見出し、ビジュアル、テストの仮説)は、任せるのに向いた領域です。悪いバリエーションが失わせるのはテスト1回分で、大惨事ではありません。同様に、広告プラットフォームは自動入札を提供しています。実行は任せますが、最適化される目標は人が与えたものです。申し込みではなくボタンのクリックをコンバージョンに設定していれば、システムは間違ったものを熱心に最適化します。予測シナリオは、バランスの取れた補助の例です。AIは数式を書いて仮定に反論しますが、数字は作りません。ツールが出した予測は、HyndmanとAthanasopoulosが勧めるように、基準となるナイーブ予測とも比べます※2。比較できる月でそれを上回れないなら、そのツールは何も足していません。

判断の枠組み:任せる、補助させる、人が持つ

次の4つの問いで作業を分類できます。重要な順に並べています。

  1. 結果をすばやく確認できるか。合計、行数、再計算できる数式なら確認できます。因果の解釈は確認できません。
  2. 誤りは元に戻せて、コストは小さいか。見出しの案ならそうです。数週間にわたる予算の移動はそうではありません。
  3. 個人データや機密情報が関わるか。関わるなら、契約と法務の枠組みがない外部ツールには任せません。
  4. その選択について説明責任を負う人がいるか。いるなら、どんな助けを借りても、決定はその人のものです。
作業分類理由
キャンペーン名の表記を揃える任せる自動で確認できる(行数、合計)。元に戻せる
表計算の数式を書く任せ、そのあとテストする3つのセルですぐに再計算できる
BigQueryエクスポートへのクエリを書く補助間違っていてももっともらしい結果になる。突き合わせは必須
ダッシュボードを3文で要約する補助引用された数字は読み直す。原因は断定しない
減少についての仮説を挙げる補助検証するための一覧であり、結論ではない
見出しのバリエーションを生成する任せる誤りのコストはテストで限られる
コンバージョンの定義を決める人が持つ下流のすべての管理を左右する
チャネルをやめるかどうかを決める人が持つ責任があり、影響が長く続く
顧客を特定できる抽出データを扱う人が持つ個人データ:法的な枠組みが先に必要

確認作業に隠れたコスト

任せる意味があるのは、確認が自分でやるより安く済むときだけです。仮の例を挙げます。ダッシュボードの月次サマリーを手で書くと40分かかります。アシスタントを使うと下書きは5分で、そのあと引用された数字を、画面で1つにつき2分かけて確認します。数字が12個なら合計は5 + 12 × 2 = 29分で、11分の短縮、27.5%の節約です。30個なら合計は5 + 30 × 2 = 65分に増え、最初の40分を上回ります。損益分岐点は(40 − 5) ÷ 2 = 17.5個です。それを超えるなら、確認を減らしてリスクを受け入れるか、そもそもその作業を任せないかのどちらかです。

もっとも、この枠組み自体も暫定的なものです。プラットフォームは自然言語で質問できる機能を組み込んでおり、GA4のAnalytics Intelligenceもその一例とGoogleの公式ヘルプにあります。アシスタントもコード実行への依存を強めています。今日は「補助」に分類した行が、明日には「任せる」に変わっているかもしれません。残しておくべき基準は、ツールの評判ではなく、自分たちの作業で実測した確認コストです。

個人情報、EUの規則、自動化バイアス

三つの別々の話題が、よく混ざり合います。一つめはツールに送るデータです。日本では個人情報保護法が、利用目的の特定と、その範囲内での取扱いを求めており、第三者への提供には原則として本人の同意などが必要です※3。個人情報保護委員会は2023年に「生成AIサービスの利用に関する注意喚起等について」を公表し、生成AIサービスへ個人情報を入力する場合は利用目的の範囲内かどうかを確認すること、また、本人の同意なく個人データを入力し、それが応答の出力以外の目的(機械学習など)で取り扱われる場合は法に違反するおそれがあることを、注意点として挙げています(要旨。詳細は原文を参照)※4。EUの居住者を対象にする場合は、GDPR(規則(EU) 2016/679)が適用され得ます。第5条はデータ最小化を含む原則を定めています※5。実務としては、集計済みの系列(日別のセッション数、チャネル別のコンバージョン)はアシスタントに渡してかまいません。識別子、メールアドレス、個人ごとの履歴、フォームの自由記述は、検証済みの契約上の枠組み(委託契約、データの所在地、保存期間と入力内容の再利用)と法的な根拠がない限り、渡しません。この段落の記述はいずれも、社内の個人情報の担当者や弁護士などの専門家に確認してください。

二つめは、EUのAI規則(規則(EU) 2024/1689)です。条文によれば、リスクの段階に応じた考え方に立ち、禁止される行為、いわゆる高リスクのシステムに対する要件、特定の用途に対する透明性の義務を定めています。マーケティングチームに直接関わる規定として、条文から読み取れるのは、AIシステムを展開する組織に対するAIリテラシーの確保義務(第4条)と、AIが生成・加工した特定のコンテンツに対する透明性の義務(第50条)です※6。正確な適用範囲と段階的な適用スケジュールは、現行の版で確認してください。マーケティングデータの集計分析が高リスクの区分に入ることは原則としてまれですが、区分は用途によって決まり、先入観で判断できません。リスク区分ごとに義務を定めるEUのAI規則のような包括的な規制は、日本では置かれていないと理解されています。総務省・経済産業省の「AI事業者ガイドライン」は、AIの開発者・提供者・利用者それぞれが考慮すべき事項を整理した、法的拘束力のない指針です※7。2025年には、AIの研究開発と活用の推進を目的とする法律(人工知能関連技術の研究開発及び活用の推進に関する法律)も成立しています※8。いずれも最新の状況は公式資料で確認してください。また、GDPRは第22条で、自動化された処理のみにもとづき、法的効果または同様に重大な影響を本人に及ぼす決定を規律しています。日本の個人情報保護法には、これに相当する自動化された決定を一般的に制限する条文はないと理解されています。ただし、個人に対して特典や価格を拒否するようなスコアリングは、日本国内の事業でも、導入の前に法的な検討を受けるに値します。

三つめの話題は自動化バイアスです。システムの出力を、確認せずに受け入れてしまう傾向で、自信ありげに示されるほど強まります。ParasuramanとManzey(2010)のレビューによれば、このバイアスは経験を積んだ利用者にも当てはまり、単に慣れるだけでは消えないとされています※9。チームにとっての具体策は次のとおりです。作業の種類ごとのチェックリスト(合計の突き合わせ、引用された数字の読み直し)、経営層に出す成果物では作成者と別の人が確認すること、そして見つかった誤りの記録です。

まだ分かっていないこと

未解決の点が3つあります。将来の信頼性:ツールが12か月後にどうなっているかについて、確かなデータにもとづく主張はありません。判断の質:合計の正しさは測れても、解釈の正しさは測れません。一方が他方に比例すると考える根拠もありません。規制の枠組み:EUの法令は出そろいましたが、当局や裁判所による適用が明らかになるには何年もかかります。日本でも、ガイドラインや法制度は今後の動向を見る必要があります。

それでも、ツールがどう進化しても成り立つことが一つあります。データの価値は、それが可能にする意思決定で決まり、意思決定の質は、データから何が言えないかを示す力に左右されます。AIが速めるのは、クエリや数式や要約を書く作業です。最初の問いを立てることも、元データに照らして確かめることも、決める責任も、AIは代わってくれません。任せた作業ごとに確認にかかった時間と見つかった誤りの割合を測れば、境界線をどちらへ動かすべきかの、事実にもとづく材料になります。より深く学びたい方には、上級プログラム:AIマーケティング・インテリジェンスがあります。

参考文献

  1. Google アナリティクス ヘルプ:自動インサイト、Analytics Intelligence、BigQueryエクスポートに関するページ。機能や画面は変わるため、最新の内容を参照してください。
  2. Rob J. Hyndman, George Athanasopoulos, Forecasting: Principles and Practice, 3rd edition, OTexts, 2021(ツールが出した予測と比べるための基準手法)。otexts.com/fpp3 で公開されています。
  3. 「個人情報の保護に関する法律」(個人情報保護法)および個人情報保護委員会のガイドライン(利用目的の特定・制限、第三者提供の制限など)。最新の条文とガイドラインは同委員会の公式サイトで確認してください。
  4. 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」2023年。※本稿執筆時点の情報であり、最新の内容は同委員会の公式サイトを参照のこと。
  5. 欧州連合 規則(EU) 2016/679(GDPR)、特に第5条(データ最小化を含む原則)と第22条(自動化された個人に関する意思決定)。
  6. 欧州連合「人工知能に関する調和の取れた規則を定める、2024年6月13日の欧州議会及び理事会規則(EU) 2024/1689(AI規則)」、特に第4条と第50条。EUR-Lexで、現行の統合版と適用スケジュールを確認してください。
  7. 総務省・経済産業省「AI事業者ガイドライン」。AI開発者・提供者・利用者に求められる事項を整理した指針(法的拘束力のないもの)。改訂されることがあるため、最新版を公式サイトで確認してください。
  8. 「人工知能関連技術の研究開発及び活用の推進に関する法律」(2025年成立)。施行時期や詳細は、政府の公式資料で最新の内容を確認してください。
  9. Raja Parasuraman, Dietrich H. Manzey, "Complacency and bias in human use of automation: An attentional integration." Human Factors, 52(3), 2010.

関連記事

AI Reasoning Boundaries

無料メールで、新しい記事とコースのご案内を受け取る

新しい実践記事とコースの最新情報を、月に1〜2回お届けします。登録は無料です。メールアドレスはこのご案内の送付にのみ使用し、第三者に提供することはありません。