なぜ購入を予測するの？

ECサイト（マーケティング）では、すべての訪問者に同じ案内を出すよりも、「迷っている人」や「購入に近い人」を見分けられると便利だからです。

今回は、公開されているオンラインショップのデータを使い、見たページ数、サイトにいた時間、すぐ離脱した割合、訪問した月、初めての訪問かどうかなど、17個の情報から「購入した／しなかった」を予測します。注目するのは、表の数値を読むGPT-6 Astraが、購入履歴で学習する従来のモデルにどこまで近づけるかです。

実際のデータを見てみる

以下は、今回の解析に使った購買データから抜粋した4件です。人を特定する情報は含まれておらず、どれくらい商品を見たか、いつ訪問したか、実際に購入したかを扱っています。

表の数値を、読みやすい単位にして表示しています。実際のモデルは、こうした項目に加えて、離脱率やページの種類など17個の情報をまとめて見て、購入確率を出します。表に出ている1つの項目だけで購入が決まるわけではありません。

どうやって比べた？

公平に比べるため、購入した人と購入しなかった人を同じ数だけ用意しました。重複した行を取り除いたあと、各1,908件、合計3,816件を分析に使っています。このうち8割を従来法の学習データとし、残り2割の764件を検証用にしました。

今回の検証

• 3,816件のサイト訪問データを分析
• 購入を予測するための情報は17項目
• 学習には使わない764件で答え合わせ
• 答え合わせ用データでは、購入した人としなかった人を同じ数にそろえた

比べた方法

• データを整える：数字の大きさをそろえ、月・ブラウザなどの情報をモデルが読める形にする
• 従来法で予測：ロジスティック回帰とXGBoostに、過去の購入パターンを学ばせる
• GPT-6 Astraで予測：同じ情報を渡し、購入しそうな度合いを判断してもらう

評価は、単純な正解率に加えて「購入しそうな人を上位に並べられたか」も見ます。後者を表すのがROC-AUCです。1に近いほど、購入する人としない人をうまく分けられます。

予測に使った17項目

購入したかどうか（答え）以外の、次の17項目を予測に使いました。

• 管理用ページの閲覧数：ログイン・会員情報など、管理に関するページを何ページ見たか。
• 管理用ページの滞在時間：管理用ページを見ていた合計時間。
• 案内ページの閲覧数：会社紹介やお知らせなど、商品以外の案内ページを見た数。
• 案内ページの滞在時間：案内ページを見ていた合計時間。
• 商品ページの閲覧数：商品に関するページを何ページ見たか。
• 商品ページの滞在時間：商品ページを見ていた合計時間。
• 直帰率：最初の1ページだけ見て離れた訪問の割合。
• 離脱率：そのページを最後にサイトを離れた割合。
• ページ価値：過去の購買行動から計算された、そのページの購入への貢献度。
• 特別な日の近さ：バレンタインなどの特別な日までの近さを表す値。
• 訪問した月：サイトを訪問した月。
• 利用OS：訪問に使った端末の基本ソフトの区分。
• 利用ブラウザ：訪問に使ったWebブラウザの区分。
• 地域：アクセスした地域の区分。
• 流入元の種類：広告・検索など、サイトへ来た経路の区分。
• 訪問者の種類：初めての訪問か、再訪問かなどの区分。
• 週末かどうか：訪問日が週末だったかどうか。

今回わかったこと

今回の比較結果

気をつけたいこと

同じ「予測」でも、仕組みは違う

• 従来の機械学習：3,052件の正解付きデータから、このサイトの購入パターンを学んだ専用モデルで予測します。
• GPT-6 Astra：今回の購入履歴を追加学習せず、各行の17項目を読み、文章理解・推論の能力で購入確率を判断します。

GPT-6 Astraは従来法と同等に扱っていいのか

今回の検証では、GPT-6 Astraは従来法に近い予測精度を示したが、そのまま同等の予測モデルとして扱えるとまではいえない。

GPT-6 Astraは購入を予測できる可能性が見られましたが、実際、GPT-6 AstraはXGBoostよりも正解率は0.3ポイント低く、ROC-AUCでは0.028低くなりました。購入した／しなかったを当てる精度は近くても、購入しそうな人を上位に並べる力には差がありました。

しかも、GPT-6 Astraの予測には「会話文脈や生成の揺れ」があります。従来法の代替として使えるかは、同じ条件で繰り返したときの結果の安定性を確認して「再現性」を十分に確認する必要があると考えられます。