LLMを用いて非構造化データから顧客理解を深化|Snowflake Cortexを用いた新たな分析

LLMを用いて非構造化データから顧客理解を深化|Snowflake Cortexを用いた新たな分析

ビジネスの成長には、顧客を深く理解することが不可欠です。

これまで、多くの企業では、顧客の購入履歴やサイトの閲覧行動を分析することで、「ユーザーが何をしたか」という行動の結果からユーザー像の理解を深めてきました。

しかし、顧客に対する理解度をさらに一段階引き上げるためには、その背景にある「なぜその行動に至ったのか」を理解することが重要です。

atarayoでは、AIを用いて、非構造データから顧客の興味傾向を把握する新たな分析に取り組んでいます。この記事では、LLMを用いた非構造化データの分析手法についてご紹介します。

なぜ今、新たな分析が必要なのか?

最近では分析ツールが普及してきたことで、ユーザーの注文履歴やWEBの行動履歴などを統合し、LTV(顧客生涯価値)やアクティブ度(どれほどサービスや商品に熱意をもって関わっているか)といった分析は多く実施されています。

一方、メールコンテンツやランディングページなどの非構造化データ(画像、動画、文章データなど)を用いた分析については、技術的なハードルも高くなかなか実施されてきませんでした。そのため、ユーザーがどのような訴求を見て購入に至ったのかという「きっかけ」については理解が進んでいませんでした。

例えば、メールから商品が購入された場合、これまでの分析では、「このメールが売上に貢献した」という結果は分かっても、「メールのどの部分(どの訴求)が響いたのか」までは分からないという状況でした。

このギャップを埋めるために使用するのが、LLM(大規模言語モデル)です。LLMは、膨大なテキストデータから人間のように文章を理解し、要約や分類などを行うことができます。このLLMの技術を用いてメールのコンテンツを分析し、ユーザーの行動履歴と組み合わせることで、「顧客の興味傾向」をより深く理解し、一人ひとりのユーザーに合わせたサービスの提供が可能になります。

分析方法と実績

メールマーケティングにおいて、件名と本文はユーザーが開封するかどうかを判断したり、本文内のクリックや購入を決める上で、非常に重要な要素となります。

ユーザーは、メールの件名や本文を読んで、自分が興味のあるの内容なのかを判断し、開封またはクリックします。つまり、メールのテキストデータとその後の行動データを組み合わせることで、ユーザーの興味傾向を推定することが可能です。

今回の分析では、テキストデータの分析・分類にSnowflake Cortexを用いています。

具体的には、過去に配信した大量のメールの中から、件名のテキストデータを抽出、Snowflake Cortexに分析させてタグを生成します。タグデータを開封・クリック率といったメールの行動データと紐づけることで、「ユーザーはどのような訴求内容に反応するのか」を推定することができます。

メール分析フロー

この分析により、ユーザーが反応しやすいカテゴリの訴求内容がわかり、パーソナライズされたメールコンテンツの配信に繋げることが可能になります。

実際の支援の中でも、数百万人いる顧客像の把握、メールコンテンツの改善、他のマーケティングチャネルの配信内容の改善など、日々の運用で活用いただいています。

なぜSnowflake Cortexを用いるのか?

メールなどのテキストデータを、人間が集計・分析することは、配信数が多いほど難しくなります。

atarayoでは、データ分析基盤として多くの企業で利用されているSnowflakeに統合された、LLM(大規模言語モデル)の機能群である「Snowflake Cortex」を以下の理由により、活用しています。

1. データ移動が不要で、セキュリティも安心

Snowflakeに蓄積されたデータを、そのままSQLでLLMに渡して解析できるため、外部にデータを送信する必要がありません。情報漏洩のリスクを低減し、既存の厳格なセキュリティ・ガバナンスポリシーを維持したまま、安全に分析を進めることができます。

今回クライアント様が使用しているデータ分析基盤がSnowflakeであったこともあり、既存環境を最大限活かし、迅速かつ安全に新しい分析を進められるという点で最適な選択でした。

2. 複数のLLMモデルを使い分けられる

テキスト分析には「mistral-large2」、要約には「llama3.1-8b」など、タスクに応じて最適なLLMモデルを選択できるため、分析の精度や処理効率を最大化することができます。また、Snowflake Cortexは処理されたトークン数に基づいて従量課金されます。処理内容に応じて、モデルのスペックは落として、低コストなモデルを選択するという運用も可能です。

3.分析パイプラインを構築しやすい

SQLとSnowflakeのタスク機能を組み合わせるだけで、LLMによる解析から抽出、さらにその後の処理までの一連の分析プロセスを自動化できます。

Snowflake Cortexでできること

Snowflake Cortexは、単なるテキスト分析ツールではありません。様々な機能で、より深いインサイトを引き出すことができます。

まず大きな特徴として、自由形式テキストの構造化・分類の機能が挙げられます。

メールの本文や問い合わせ内容、SNSのコメントといった自由な文章から、感情、カテゴリ、優先度といった必要な情報を自動で抽出・分類。これにより、これまで分析が難しかった非構造化データを、分析可能な「構造化データ」に変換することが可能になります。

また、SQL分析結果の自然言語解釈ができることも特徴です。

また、最新の機能では、AIが自ら考えて複数のタスクを自動で実行する「エージェント機能」や、開発者がSQLをより効率的に記述できるように支援する「Copilot機能」も提供されており、さらなるデータ活用の可能性を広げています。

分析の精度を高めるプロンプト設計

Snowflake Cortexに限らず、AIを使って精度の高い結果を引き出すには、的確な指示(プロンプト)を与えることが非常に重要となります。atarayoでは、プロンプト設計時には以下を押さえ、精度の高い分析に繋げています。

役割の明確化

プロンプトの冒頭で、「あなたは[データソース]から「[分析目的]用のタグ」を厳密に抽出するAIエンジンです。」といったように、汎用的な会話AIではなく、特定のタスクに特化したエンジンとして位置付けし、分析の目的と役割を明確に定義します。不要な情報処理を減らすことで、分析の精度が向上、一貫性のある質の高いアウトプットの生成が可能になります。

出力形式の厳密な指定

Snowflakeで処理しやすい形式を明確に定義。後続のSQL処理を考慮し、「必ずJSON形式で出力すること」とフォーマットを厳密に指定します。スムーズなデータ連携による分析プロセスの効率を向上させます。

ビジネス要件の反映

クライアント様のビジネスに特化したデータスキーマ(抽出する項目やその定義)を事前に設計。抽出したいフィールドの定義やデータ型、必須/オプションの区別を明確化しておき、常に一貫した分析結果を出せるようにします。

マスタデータ・辞書の活用

業界や企業固有の分類体系をマスタデータとしてAIに提供します。これにより、標準化された分類で分析の品質を向上させるとともに、ビジネス要件に特化した正確な結果を得られます。

抽出ルールの厳格な明文化

「原文に記載された語句のみを抽出し、推測は禁止する」「マスタに該当がない場合の対応方法を明確にする」といった具体的なルールを事前に定義します。これにより、曖昧さを排除し、複数の分析者がいる場合でも一貫した信頼性の高い結果を得ることができます。

今後の展望

今後atarayoは、AIを活用した新たな分析をさらに発展させ、以下のような取り組みを通じて、顧客との関係をより深く、強固なものにしていきたいと考えています。

カスタマーサポートの最適化

問い合わせ内容の感情トーンを分析し、緊急性の高いものを自動で判別する。これにより、さらに迅速で適切な顧客対応を実現させる。

コンテンツ生成の自動化

顧客セグメントごとに最適なメール件名や本文を自動で生成し、さらにA/Bテストを繰り返すことで、常に最も効果的なコンテンツ内容を学習。

また、この分析はEC領域に限らず、多様な領域で活用できます。特に広告領域では、以下のような活用が期待できると考えています。

広告クリエイティブの自動分析と最適化

広告画像のテキストや色調といった非構造化データをLLMで分析し、CTRやCVRが高いクリエイティブの要素を特定する。

競合分析の自動化

競合他社の広告文やランディングページをLLMで分析し、市場トレンドや効果的な訴求パターンを継続的に調査する。

AIを活用した新たな分析は、メール施策の内容やPDF、SNSのコメントといった非構造化データを価値あるものにし、顧客提供価値の向上、企業の成長を支える強力な武器となります。

atarayoでは今後も、AIの力を最大限に引き出し、お客様の持続的な事業成長を支援できるよう進化し続けます。

この記事の著者
logo
Tomotaka Kato
加藤丈峰
事業会社でBtoBマーケティングツールの新規事業開発から、新規事業のグロースとコンサルタント、データの活用支援を経て、
2022年に株式会社atarayoを設立。BtoBのデータ分析・マーケティング支援事業と、BtoCのEC事業を中心に展開。
この二つの事業を軸に、多様なニーズに応えるサービスを提供。