認知広告の「ROAS18倍」は本物か。DID分析で因果効果を測り直す
CASE SUMMARY
事例サマリー
課題
認知施策（YouTube・Meta・X・ディスプレイ広告）の評価が広告媒体側のコンバージョン数どまり。クリック経由の直接成果しか見えず、認知施策の本体である間接効果を測れていなかった。
打ち手
- 認知施策の設計（媒体の役割・配信地域・クリエイティブ）から関与
- 12府県を「広告なし／動画系（YouTube・X）／ディスプレイ系（Meta・ディスプレイ広告）」へ層別ランダム化し、地域差分の差分法（geoDID）で因果効果を推定
- 売上を「セッション × CVR × 客単価」に分解し、ROASの中身を点検
成果
- 見かけROAS約18倍のディスプレイ系は、効果が最大規模の1地域に依存。除くとマイナスに転落
- 統計的には有意でなく、結果を「次の検証の出発点」として整理
- 「認知が強い地域ほど認知広告が効く」という仮説を立て、地域を広げた追加検証の設計へ前進
「ROAS18倍」の数字を鵜呑みにせず、地域実験（geoDID）で広告の因果効果を測り直す。効果が1地域に依存していた構造を明らかにし、次の検証と意思決定へつなげた取り組み
「広告は回しているが、本当に効いているのかは分からない」。とくに認知施策では、これが多くのマーケティング責任者の本音です。
全国に商品を展開する弊社のクライアント様も、YouTube・Meta・X・ディスプレイ広告で継続的に認知施策を打っていました。しかし評価は広告媒体側のコンバージョン数に頼り、クリック経由の直接成果しか見えていません。認知施策が本当に効くのは、広告を見て後日購買する間接効果の部分です。そこを測れないまま、出稿を続けている状態でした。
atarayo は、この問いに地域実験（geoDID）で答えました。認知施策の設計から関わり、効果を因果として測れる状態をつくっています。本記事では、その設計と、検証から見えてきた「ROAS18倍の正体」をご紹介します。
本記事の位置づけについて 本事例は、atarayo が設計・実行した認知施策と広告効果検証の取り組みです。掲載にあたり、企業名・業種は匿名化しています。また、記事中の数値は、実際の分析で得られた大小関係・符号・結論（傾向）を保ったまま、具体的な金額・比率を調整して掲載しています。実データそのものではありません。
1. 取り組み前の状況・課題
課題①：認知施策の効果を、クリック経由の直接成果でしか測れない
動画・ディスプレイ・SNSの広告は、クリックされなくても効きます。広告を見た人が後日検索して購買する（ビュースルー）、家族や同僚に話して別の人が買う（口コミ）といった間接効果です。ところが評価は広告媒体側のコンバージョン数が中心で、これは最後にクリックされた広告に売上を紐づけているにすぎません。認知施策の本体である間接効果が、まるごと計測から抜け落ちていました。「広告を出した地域全体の売上が、出さなかった地域と比べてどう動いたか」を見ない限り、認知系広告の本当の貢献は分かりません。
課題②：「効いた」と「同時に起きただけ」を切り分けられない
大型セール期は、広告がなくても検索やLINE経由で売上が伸びます。広告が押し上げた分なのか、セールで自然に伸びた分なのかが分離できないため、コンバージョン数が増えても、それを根拠に予算を増やしてよいか判断できませんでした。
課題③：広告媒体側の数字を、そのまま信じてよいか分からない
ディスプレイ系の自動最適化配信は、もともと購買確率の高いユーザーや市場へ予算を寄せます。すると、広告を当てなくても買ったであろう層に広告が当たり、その購買が「広告の成果」として計上される構造が生まれます。媒体側のコンバージョン数やROASが高く出るほど、本当に広告が生んだ増分なのか、それとも刈り取りの上澄みなのかを疑う必要がありました。
2. atarayo のアプローチ
atarayo が取り組んだのは、「広告の効果を、因果として測れる状態にすること」、そしてそのための認知施策そのものを設計することでした。どの媒体に・どの地域で・どんなクリエイティブを当てるか——測定できる実験条件と、認知を獲得する施策設計の両方を、atarayo が組み立てています。
設計の中心は、地域を単位にしたランダム化実験です。
実験デザイン：12府県を4ブロックに分け、3群へ層別ランダム化
首都圏を除く12の府県を売上規模順に並べ、上位から3県ずつ4つのブロックに分けました。各ブロックの中で、3県を「A：広告なし（コントロール）／B：動画系広告（YouTube・X）／C：ディスプレイ系広告（Meta・ディスプレイ広告）」の3群へランダムに割り当てます。規模の近い地域どうしを比較できるようにブロック化することで、地域差の影響を抑えました（地域名は匿名化のため伏せています）。なお、本分析でいう売上はECの地域別注文額を指します。
なぜ地域単位か：クリックではなく「地域全体の売上の動き」で測る
geoDID は、DID（差分の差分法：施策を受けた群と受けない群で、前後の変化の差をとり、効果だけを取り出す手法） を、地域を単位に応用したものです。「広告を配信した地域の売上が、配信しなかった地域と比べてどう変わったか」を見ることで、クリック起点では取りこぼす間接効果まで、まとめて因果効果として捉えられます。
| 効果の種類 | 例 |
|---|---|
| 直接効果 | 広告を見てクリックし、そのまま購買 |
| 間接効果（ビュースルー） | 広告を見たが、後日あらためて検索して購買 |
| 口コミ・認知効果 | 広告を見た人が家族に話し、その家族が購買 |
推定値を鵜呑みにしないための検証
DID分析は、前提となる仮定が崩れると、誤った結論を導きます。そこで以下を重ねました。
- 平行トレンド検証：実験前の期間を週次で分割し、3群の売上の傾きが揃っているかを確認。4ブロックのうち1ブロックは1群の規模・傾きが突出しており、比較基準としての信頼性が低いと判断（解釈に注意を付す）。
- 配信量の地域別突合：広告が設計どおり処置群に集中したかを確認。動画系は処置群に100%、ディスプレイ系は約96%が処置群へ配信され、コントロール群への誤配信はわずか（誤差範囲内）。
- 並べ替え検定（permutation test）：4ブロックのDID符号を入れ替えた16通りの帰無分布と観測値を比較し、偶然では説明しにくいかを検定。
- 売上の3要素分解：売上を「セッション × CVR × 客単価」に分け、ROASの数字が何で構成されているかを点検。
3. 取り組みの成果
表面のROASは、ディスプレイ系が圧勝に見えた
点推定では、動画系・ディスプレイ系とも売上への正の効果が観測されました。広告費で割ったROASは、ディスプレイ系が約18倍と動画系を大きく上回ります。
| 指標 | 動画系（B群：YouTube・X） | ディスプレイ系（C群：Meta・ディスプレイ広告） |
|---|---|---|
| 広告費 | ¥5,500万 | ¥2,400万 |
| DID売上増分（点推定・合計） | ¥2.65億 | ¥4.35億 |
| ROAS（参考値） | 約4.8倍 | 約18.1倍 |
数字だけ見れば、「ディスプレイ系に寄せるべき」という結論になります。ただ、この数字をそのまま受け取ってよいかは、もう一段の検証が必要でした。ROASの分子であるDID売上増分は、いずれも信頼区間が0をまたぐ点推定値です（効果がゼロの可能性を排除できていません）。加えてディスプレイ系は広告費が動画系の半分以下のため、同じ売上増分でもROASが高く出やすい構造もあります。
「ROAS18倍」は、ほぼ1地域だけでできていた
ブロック別にDIDを分解すると、ディスプレイ系のプラスはほぼすべてが最大規模の配信地域（=売上規模が最も大きい地域）に集中していました。ディスプレイ系の自動最適化配信は、この最大地域へ全配信の約63%を寄せていました。配信量が多いのだから効果が大きいのは自然——そう見えます。
ところが、その地域のDIDはディスプレイ系全体の約166%を占めていました。配信シェア（63%）を大きく超える効果が、1地域に偏っていたのです。
| 地域区分 | C群内の配信シェア | C群内のDIDシェア |
|---|---|---|
| 最大規模の地域 | 約63% | 約166% |
| その他3地域（合計） | 約37% | 約−66% |
この地域を除いてディスプレイ系のDIDを計算し直すと、結果は反転します。
| 対象範囲 | ディスプレイ系 DID（点推定） |
|---|---|
| 全体（最大地域を含む） | ＋約4.35億円 |
| 最大地域を除外 | −約2.87億円 |
つまり、ディスプレイ系の「効果」は1地域に完全に依存しており、それを外すとマイナスでした。この上振れが広告の力なのか、その地域固有の需要増だったのかは、配信量だけでは説明できません。ROAS18倍は、平均すれば高く見えるが、再現性のある効果とは言えない——これが最初の発見です。
ディスプレイ系はセッションを増やしたが、流入の質を下げていた
売上を3要素に分解すると、さらに像が鮮明になりました。ディスプレイ系（C群）はセッションが大きく増えた（+40〜+58%）一方で、CVRが全配信地域で低下（−6〜−26%）していました。客単価はほぼ横ばいです。売上の増加は、質の低い流入をセッション数で押し込んだ結果という側面が強い。対して動画系（B群）は、セッション増は控えめ（+15〜+30%）ながら、CVRは1地域を除き維持・改善しており、流入の質という点ではディスプレイ系より優位でした。
ただし、ここでのセッション・CVRはグループごとの前後変化であり、地域全体の売上で見たDIDとは指標の性質が異なります。CVRの低下にはセール期特有の流入増という季節要因も混じり得るため、本来はコントロール群との差分で評価する必要があります。現時点では「ディスプレイ系で流入の質が下がった可能性」を示唆する段階として読んでいます。
セール自体の効果と、広告の効果を切り分けた
検証期間には大型のセールが重なっていました。セール前半（先行販売期）と後半（通常販売期）でCVRを比べると、先行期のCVRが高い傾向が3群ともほぼ同じ幅（約−1ポイント）で現れました。
| グループ | 先行期CVR | 通常期CVR | 差 |
|---|---|---|---|
| A：広告なし | 3.30% | 2.30% | −1.00pt |
| B：動画系 | 3.15% | 2.10% | −1.05pt |
| C：ディスプレイ系 | 2.50% | 1.85% | −0.65pt |
差が群によらず一様であることから、先行販売のCVR優位は広告ではなくセール設計そのものの効果と切り分けられました。送客を先行期に厚くすることが売上効率の改善につながる、という別の示唆も得られています。
統計的には「有意ではない」。結論ではなく出発点として扱う
並べ替え検定では、動画系・ディスプレイ系とも統計的に有意な差は出ませんでした（動画系 p=0.38／ディスプレイ系 p=0.31）。
ただし、これは「効果がない」ことの証明ではありません。今回はブロック数が4と少なく、検出力（本当に効果があるときに、それを取りこぼさず捉える力）が限られています。点推定もブロック間のばらつきが大きく、平行トレンドに懸念のあった1ブロックを含んだ値です。そのため「有意でない」は、効果の不在ではなく、現時点では確定した判断を下せない段階、と読むのが適切です。
だからこそ、今回の結果は確定した成果ではなく、次の検証の出発点として位置づけています。次回は観測単位を都道府県（n=12）まで細かくする、ブロック数を8以上に増やす、日次データでGeoLiftを併用する、といった検出力を上げる設計を準備しています。
分析を、次の仮説と意思決定につなげる
最大規模の地域で効果が突出した事実から、一つの仮説が立ち上がりました。もともと認知が強い地域では認知広告が効きやすく、認知の低い地域では効果が薄い、あるいは効果が出るまでの時間差が大きいのではないか、というものです。
atarayo は、この仮説を検証するため、対象地域を広げた次の実験の設計に着手しています。分析を出して終わりにするのではなく、結果から仮説を立て、次の意思決定と施策につなげるところまでを支援しています。
まとめ
この取り組みで最も変わったのは、認知施策の予算をめぐる会議の前提でした。「広告媒体側のコンバージョン数やROASが高いから増やす」という判断から、「その数字は間接効果まで含めた因果効果なのか、1地域や刈り取りに偏っていないか」を確かめてから動く、という判断に変わりました。ROAS18倍という見栄えのする数字を、そのまま信じずに測り直せる状態をつくれたことが、成果です。
認知施策の効果検証は、派手な施策ではありません。けれど、「効いているはず」の前提を一つずつ崩して確かめることでしか、限られた予算をどこに張るかは決められません。atarayo は、認知施策の設計から効果の因果検証まで一本で関わり、データを意思決定につなげる仕組みづくり、AIの活用、自社に最適なAIの設計・構築まで幅広くご支援しています。
「広告は回しているが、本当に効いているのかは分からない」。そう感じているマーケティング責任者の方は、まず計測の設計から、お気軽にご相談ください。