【基礎知識】ABテストとは？

ABテストとは、Webページや広告の一部を変えた2つの案（Aパターン・Bパターン）を用意し、訪問者をランダムに振り分けて、どちらがより多くの成果（クリック・問い合わせ・購入など）を生むかを比べる方法です。

たとえば、現在の問い合わせボタン「送信する」をA、「無料で相談する」をBとして、同じ期間に訪問者の半数ずつへ表示し、問い合わせの完了率を比べます。3つ以上の案を比べることもありますが、考え方は同じです。

大切なのは「同じ期間に」「ランダムに振り分けて」比べることです。先月と今月の数字を比べる方法では、季節の変化や広告の配信量など、変更以外の要因が結果に混ざってしまいます。同時に比べることで、差が「変えた部分」から生まれたものかどうかを判断しやすくなります。

ABテストでわかること・わからないこと

わかるのは「決めた指標で、AとBのどちらの成果が高いか」と、その差が偶然とは言いにくい大きさかどうかです。「なんとなく良くなった気がする」を、数字で確かめられるのがABテストの価値です。

わからないのは「なぜBが良かったのか」という理由と、テストしていない案の方がさらに良い可能性です。理由を知るには、ヒートマップでの行動確認やユーザーへの聞き取りなど、別の方法と組み合わせる必要があります。

ABテストの主な種類

ページの一部だけを比べるなら「同一URLテスト」、ページ全体を作り替えて比べるなら「リダイレクトテスト」が基本です。何を変えたいかによって、準備の手間と必要な訪問数が変わります。

ABテストのメリット・デメリット

低コスト・低リスクで改善の当たり外れを確かめられる一方、十分な訪問数がないと結論が出ないことが最大の注意点です。

メリット

小さな変更から低コストで始められる

ボタンの文言や画像を差し替えるだけでも検証できるため、サイト全体を作り直すよりも費用と工数を抑えられます。広告であれば、多くの媒体が管理画面にテスト機能を備えています。

大きな改修の前に「効く方向」を確かめられる

新しいデザインをいきなり全員に公開するのではなく、一部の訪問者で先に試せるため、成果が下がるリスクを抑えられます。リニューアルを検討している場合も、訴求の方向性を事前に確かめてから本制作に進めます。

社内の好みではなく、ユーザーの反応で決められる

「赤いボタンと青いボタン、どちらがいいか」を会議で議論する代わりに、実際のデータで決着をつけられます。上司や他部署に説明する際にも、判断の根拠を数字で示せます。

デメリット

訪問数が少ないと、いつまでも決着がつかない

CV率（コンバージョン率：訪問者のうち問い合わせや購入に至った割合）が低いページほど、差を見分けるのに多くの訪問数が必要です。たとえばCV率1.5%のページで2割の改善を見分けるには、AとBそれぞれ約2.8万の訪問が必要です。

テスト中は、一部の訪問者に成果の低い案を見せ続ける

どちらかの案が劣っていた場合、テスト期間中はその分の成果を取りこぼします。キャンペーンの最盛期など、取りこぼしの影響が大きい時期は避けるのが無難です。

設計・実装・判定に工数と一定の統計の知識が必要

案の作成やツールの設定に加え、「その差は偶然ではないか」を判定する手間がかかります。判定の多くはツールが自動で計算してくれますが、数字の意味を理解していないと、誤った結論を採用してしまうことがあります。

ABテストで何を比べる？成果に近い場所から選ぶ

迷ったら、「訪問者の多くが目にし、かつ問い合わせや購入の直前にある場所」から選ぶのが効率的です。見られていない場所や、成果から遠い場所を変えても、差が数字に表れにくいためです。

ファーストビュー（ページを開いて最初に見える範囲）

ほぼすべての訪問者が目にするため、変化が数字に表れやすい場所です。たとえば「A：サービスの機能を伝える見出し」と「B：導入後に得られる成果を伝える見出し」を比べ、ページの離脱率や問い合わせ率を見ます。

CTAボタン（問い合わせ・購入などを促すボタン）

成果の直前にあるため、結果が成果に直結しやすい場所です。文言（例：「送信する」→「無料で相談する」）、位置（ページ下部のみ→ファーストビューにも設置）、色や大きさなどを比べ、クリック率とその先の完了率をあわせて見ます。

入力フォーム

フォームまで来た訪問者は申し込み意欲が高いため、離脱を減らせれば成果に直結します。入力項目の数（例：10項目→必須6項目）、入力例の表示の有無、確認画面の有無などを比べ、フォームの完了率を見ます。

Web広告（画像・見出し・訴求の切り口）

広告は配信量を予算で調整できるため、サイトの訪問数が少ない場合でも比較的早く結果を集められます。「価格の安さ」と「導入実績」のどちらの訴求がクリックされやすいかを広告で先に確かめ、勝った訴求をページの見出しに反映する、という使い方もできます。

メールマガジン（件名・配信時間帯）

件名の違い（例：数字を入れる／入れない）による開封率や、配信時間帯によるクリック率を比べます。Webサイトの改修が不要なため、社内の工数をかけずに試せるのが利点です。

始める前に、自社のアクセス数でABテストが成り立つかを確かめる

ABテストに必要な訪問数は、「今のCV率」と「どれくらいの差を見分けたいか」で大きく変わります。CV率1〜2%のページで2割程度の改善を見分けるには、1パターンあたり2万〜4万人規模の訪問が必要です。「数百〜1,000件程度あれば十分」といった目安を聞くこともありますが、CV率が低いページでは大きく不足することがあります。

必要な訪問数の早見表

以下は、一般的に使われる判定基準で計算した、1パターンあたりに必要な訪問数の目安です（一般的な統計の計算式による理論値）。判定基準とは、「偶然の差を本当の差と見誤る確率を5%以内」「本当に差があるのに見逃す確率を20%以内」に抑えるという条件のことで、多くのABテストツールもこれに近い基準を採用しています。

改善の幅は、今のCV率に対する割合です（例：CV率2%の「2割改善」は2.0%→2.4%）。表の数字は1パターンあたりの訪問数のため、AとBの合計ではこの2倍が必要です。自社の対象ページの月間訪問数とCV率をGoogleアナリティクスなどで確認し、この表に当てはめると、テストにかかるおおよその月数が分かります。

試算①：月6,000訪問のページで、何ヶ月テストすればどこまでの差を見分けられるか

ここからは、仮の条件を置いた計算例です。前提は次のとおりです。

• 対象ページ：資料請求を目的としたBtoBサービスのページ
• 月間訪問数：6,000（A・Bに半数ずつ振り分け）
• 現在のCV率（資料請求率）：1.5%
• 判定基準：偶然の差を見誤る確率5%以内・本当の差を見逃す確率20%以内

1ヶ月のテストでは、CV率が1.5%から2.5%に上がるほどの大きな差でなければ、偶然ではないと判定できません。ボタンの文言を少し変えた程度で、ここまで数字が動くことは多くありません。つまりこの条件では、小さな変更をCV率で比べても「差があるとは言えない」という結果で終わる可能性が高い、ということです。

試算②：CV率を1.5%→1.8%に上げたいとき、何人に見せれば確かめられるか

次は、目標から必要な訪問数と期間を割り出し、その改善が資料請求や受注にどれくらい効くのかまでをつなげた計算例です。条件は月間訪問数6,000・CV率1.5%で、目標を「CV率2割改善（1.5%→1.8%）」とします。商談化率と受注率も仮の数値です。

改善できれば毎月およそ1件の受注増が見込める一方、それを確かめるだけで9ヶ月以上かかる計算です。この結果が示すのは「ABテストをやめるべき」ということではなく、「このページでは、CV率を指標に小さな改善を確かめる方法が合っていない」ということです。比べ方を変えれば、同じ訪問数でも現実的な期間に収められます。

訪問数が足りないときの打ち手

訪問数を増やせない場合は、比べる指標を変える、変更の幅を大きくする、数値以外の方法で確かめる、のいずれかで現実的な期間に収めます。

成果に近く、数が多い指標で比べる

資料請求の完了ではなく、その手前の「ボタンのクリック率」で比べる方法です。月間訪問数6,000のページで、クリック率が10%の場合に2割改善（10%→12%）を見分けるには、1パターンあたり約3,800、合計約7,700の訪問で足ります。月6,000訪問なら約1.3ヶ月です。ただし、クリックが増えても資料請求の完了が増えるとは限らないため、フォームの完了率もあわせて確認します。

変更の幅を大きくする

ボタンの色ではなく、ファーストビューの訴求全体を変えるなど、大きな差が出うる変更を比べる方法です。CV率1.5%で5割改善（1.5%→2.25%）を狙う場合、1パターンあたり約5,100、合計約10,300の訪問で足り、月6,000訪問なら約1.7ヶ月です。変える要素が多くなる分、「何が効いたか」の特定は難しくなるため、勝った後に要素を分けて確かめ直すのが理想です。

数値のテスト以外の方法で確かめる

訪問数がさらに少ない場合は、数人のユーザーに実際にページを操作してもらい、迷う箇所を観察するユーザーテストや、ヒートマップでの行動確認が有効です。また、訴求の切り口は配信量を調整できる広告のABテストで先に確かめ、勝った訴求をページに反映する進め方もあります。

支援の現場で繰り返し目にするのが、月数千訪問のページで、ボタンの色の違いを何週間も比べ続けているケースです。担当者が怠けているわけではなく、「ABテストはまずボタンから」という一般的な進め方をそのまま当てはめた結果です。テスト対象を決める前に、このページの訪問数でどこまでの差なら見分けられるかを一度計算しておくだけで、同じ期間から得られる学びは大きく変わります。

ABテストのやり方【6ステップ】

ABテストは、目的と指標を決め、仮説を立てて案をつくり、必要な訪問数と期間を決めてから配信し、判定して次につなげる、という流れで進めます。なかでも、必要な訪問数と期間を配信前に決めておくことが、結果の信頼性を大きく左右します。

1. 目的と、勝ち負けを決める指標を1つ決める

「資料請求を増やす」「購入完了率を上げる」など目的を決め、勝ち負けを判定する指標を1つに絞ります。あわせて、悪化していないかを見守る指標も決めておきます。たとえば「ボタンのクリック率」を判定指標にする場合は、「資料請求の完了数」が減っていないかも見守ります。指標を後から選び直すと、都合のよい数字だけを拾ってしまうため、必ず開始前に決めます。

2. データから「どこが問題か」の仮説を立てる

アクセス解析やヒートマップで、離脱が多いページ・箇所を探し、「なぜそうなっているのか」の仮説を立てます。仮説は次の形で書くと、何を変え、何を見ればよいかが明確になります。

「（データ）から（原因）と考えられるので、（要素）を（変更内容）に変えれば、（指標）が上がるはず」

例：「フォームの入力開始率は高いのに完了率が低いことから、入力項目が多すぎると考えられるので、任意項目を削って必須6項目にすれば、フォームの完了率が上がるはず」

3. Bパターンをつくる（変えるのは原則1か所）

現在のページをAとし、仮説に沿って1か所だけを変えたBをつくります。見出しと画像を同時に変えると、どちらが効いたのかが分からなくなるためです。ただし、訪問数が少なく大きな変更で比べる場合は、複数の要素をまとめて変えることもあります。その場合は、「訴求の方向性を確かめるテスト」だと割り切って扱います。

4. 必要な訪問数と期間を、始める前に決める

今のCV率と「見分けたい改善幅」から1パターンあたりに必要な訪問数を出し（CV率1.5%で2割改善なら約2.8万）、対象ページの訪問数で割って期間を決めます。期間が短く済む場合でも、曜日によって訪問者の行動が変わるため、最低でも1〜2週間、区切りは週単位（7日、14日、21日…）にします。期間が長くなりすぎる場合は、指標や変更の幅を見直します。

5. 同じ期間に、ランダムに振り分けて配信する

ABテストツールや広告媒体のテスト機能を使い、訪問者をAとBにランダムに振り分けます。同じ人には毎回同じパターンが表示される設定になっているか、計測タグが両方のパターンで正しく動いているかを、公開直後に必ず確認します。

6. 結果を判定し、次の仮説につなげる

決めた訪問数に達したら、偶然の差ではないかを判定し、勝った案を採用します。「差があるとは言えない」という結果も、「この要素は成果に大きく影響しない」という学びです。仮説・結果・考察を記録しておくと、次のテスト対象を選ぶ材料になります。

結果の判定：差が出たように見えても「偶然」の可能性を確かめる

CV率に差が出ていても、訪問数が少ないうちは偶然の範囲に収まっていることがよくあります。判定は、事前に決めた訪問数に達した時点で、「偶然にこれ以上の差が出る確率（p値）」が5%を下回っているかで行うのが一般的です。

判定の実演：CV率1.5%と2.0%、Bは本当に勝ったのか

以下は、仮の数値による判定例です。どちらのケースも、CV率はA：1.5%、B：2.0%と同じですが、訪問数だけが異なります。

p値は、「本当はAとBに差がないとしても、偶然これ以上の差が出る確率」を表します。各3,000訪問の時点では、差がなくても14%ほどの確率でこの程度の差は生まれるため、Bが勝ったとはまだ言えません。事前に「各6,000訪問でテストする」と決めていた場合は、その時点のp値が約3.7%と5%を下回るため、Bの勝ちと判断できます。見た目の差は同じ「0.5ポイント」でも、訪問数によって結論が変わる点がポイントです。p値は多くのABテストツールが自動で計算するほか、無料の有意差計算ツールでも確認できます。

途中で結果を見て止める・延ばすと、判定が狂う

テスト中に毎日数字を確認し、p値が5%を下回った瞬間に「勝った」と止めてしまうと、実際には差がないのに差があると判定してしまう確率が大きく上がります。数字は日々上下するため、何度も確認するほど、たまたま5%を下回る瞬間に出会いやすくなるからです。反対に、差が出ないからといって期間をずるずる延ばすのも同じ問題を生みます。途中経過は計測の不具合がないかの確認にとどめ、判定は事前に決めた訪問数に達してから行います。

ABテストでよくある失敗と注意点

失敗の多くは、比べ方の条件がそろっていないこと、結果を広く当てはめすぎること、検索への影響を考えないことから起こります。

複数の箇所を同時に変えてしまう

見出し・画像・ボタンを一度に変えて成果が上がっても、どの変更が効いたのかが分からず、次の改善に生かせません。組み合わせの効果を知りたい場合は多変量テストを使いますが、組み合わせの数だけ必要な訪問数が増える点に注意が必要です。

曜日や時期の偏りを残したまま比べる

平日と週末では訪問者の行動が異なることが多く、3日間だけのテストでは結果が偏ります。また、セールや大型キャンペーンの期間中に得た結果は、通常期にも同じように当てはまるとは限りません。期間は週単位で区切り、特殊な時期はできるだけ避けます。

勝った案を、ほかのページにもそのまま当てはめる

あるページで勝った訴求が、訪問者の目的が異なる別のページでも勝つとは限りません。横展開する場合は、「効果がある可能性が高い仮説」として扱い、展開先でも改めて確かめるのが確実です。

検索順位への影響を考えずにページを出し分ける

Googleは、ABテストが検索結果に与える影響を抑えるための注意点を公開しています。主な内容は次のとおりです。

• 検索エンジンのクローラーにだけ元のページを見せるなど、人と検索エンジンで異なる内容を表示しない（クローキングにあたるため）
• 別URLのBパターンを使う場合は、rel=”canonical” で元のURLを示す
• 元のURLから別URLへ振り分ける場合は、恒久的な301ではなく一時的な302リダイレクトを使う
• テストは必要な期間だけ実施し、終わったら速やかに元に戻すか勝った案に切り替える

いずれも執筆時点の内容です。最新の情報は、Google検索セントラルの「A/B テスト時に Google 検索への影響を最小限に抑える」をご確認ください。

テストの回数そのものを目標にしてしまう

「月に4本テストする」といった回数目標は、手を動かすきっかけにはなりますが、目的化すると、成果への影響が小さい箇所ばかりを比べることになりがちです。テストの数よりも、ひとつひとつの仮説が成果にどれだけ近いかを重視します。

ABテストに使えるツールの種類

Webサイトの出し分けには専用ツール、広告は各媒体の標準機能、メールは配信ツールの機能を使うのが基本です。なお、以前は無料で広く使われていた「Google オプティマイズ」は2023年9月30日に提供を終了しており、現在は利用できません。

Webサイト用のツールを選ぶ際は、対象ページの月間訪問数に合った料金体系か、Googleアナリティクスと連携できるか、社内にタグの設置や案の作成ができる人がいるか、の3点を確認します。料金や無料プランの条件は変わることがあるため、最新の内容は各ツールの公式サイトでご確認ください。

まとめ：最初の1本は「訪問が多く、成果に近い1か所」から選ぶ

ABテストは、2つの案を同時に見せて成果の高い方を選ぶ、シンプルで強力な改善方法です。ただし、成果を分けるのはテストそのものより、始める前の3つの決定です。

• どこを比べるか：訪問者の多くが目にし、成果の直前にある1か所
• 何で勝ち負けを決めるか：判定に使う指標1つと、悪化を見守る指標
• どれだけの訪問で判定するか：今のCV率と見分けたい改善幅から出した訪問数と、週単位で区切った期間

まずは、テストしたいページの月間訪問数と現在のCV率を書き出し、見分けたい改善幅から必要な訪問数を出してみてください。CV率1.5%のページで2割の改善を確かめるなら、AとB合わせて約5.7万の訪問が目安です。所要期間が現実的なら、そのままCV率で比べられます。長すぎる場合は、クリック率など手前の指標に切り替えるか、変更の幅を大きくするか、広告で訴求を先に確かめる進め方が候補になります。この数字が手元にあるだけで、社内で進め方を相談するときも、外部に支援を依頼するときも、話が具体的になります。