みなさんサイトのABテストやってますか？
ちなみに記事を書いている現在私は会社の体制的にできない状態ですので、やりたいけどできていないですw
今回の記事ではCVRをあげたいけど、どうしたらよいかわからない人や、サイトの改修を行っているけど成果がでない人に読んでいただきたいと考えています。
記事を書いた経緯としましては、以前の会社で私がLPO(ランディングページの改善)チームのリーダーとしてCVR改善にフルコミットしたときに、メンバーからABテストはどうやって施策を思いつくのか質問を受けたことに始まります。
そのときに説明に困り、体系化したノウハウが私の中にないことに気がつき、色々と試行錯誤してやっと体系的にまとまったなと感じたので、それをブラッシュアップするために記事を書こうと思った次第です。
※ここでいうABテストはサイトの一部だけを変更して同時期に両方とも走らせて数字の変化を見るテストのことを前提にしています。
筆者の紹介
webマーケター歴2.5年の新米マーケター
新卒で小売業界に入り、店舗の管理運営を行なっていたが、業務のほとんどがルーティンワークで若い時の貴重な時間を浪費していると感じ、3年で退職しwebサービスの会社に転職、2.5年ほどwebマーケターとして勉強させていただき、自分が将来やりたいことを真剣に考えて、違うwebサービスの会社に転職し、自分のやりたい商材のマーケターとして奮闘中。
サイトのABテストがなぜ必要か？
全改修/適用と比較してABテストが必要だと考えるポイントは大きくまとめて以下だと思います。
・学びがある場合が多い
・事業に対する悪影響が少ない(工数・売上など)
・確実に改善を積み重ねることができる
では、それぞれ説明していきます。
学びがある場合が多い
ABテストは改修前のoriginalと一部だけ改修したchallengerでテストする一部以外はできる限り全く同条件(時期/流入元など)でテストをします。そうすることで、両者に数字の違いが起こった場合は、その違いは改修内容がユーザーの態度変容を起こしたからであると断言することができ、仮に数字が悪くなったとしても、その要因を分析考察することで、次の施策に活かすことができます。全改修の場合は数字が変化しても、それはどの要素が影響を与えたのかがわからず、すべてが予測になってしまいます。
事業に対する悪影響が少ない
仮に全改修/全適用を行った場合を考えてみましょう。全改修は一部改修と比較して工数が膨大になりますので、工数は何倍も大きくなります。そしてその改修が悪影響だった場合は、ABテストならその期間の半分の流入にしか悪影響が及ばないのに対し、全適用はその悪影響が元に戻すまでずっと続きます。良い影響の場合はそれで良いかもしれませんが、工数が大きくかかってしまうことには変わりありませんし、改修した全ての要素が当たっているとは限りません。なかには悪影響を与えている要素もあって、他の良い要素がそれを覆い隠している可能性もあります。その悪影響与えている要素だけ後で取り除ければよいのですが、その要素を特定するのも難しいでしょう。
施策の回し方
基本的に施策はPDCAで回していきます。仮説を立て検証できる施策を考える→施策を行う→振り返る→そこから次の仮説を生む→仮説を検証できる施策を考える→検証できる施策を行う→….の繰り返しです。
仮説の思いつき方
よくここでつまづく人が多いです。経験から仮説を立てられればよいですが、それは全員ができる方法ではありません。私は主に仮説は4パターンから生まれると考えています。
・定量分析(数字から言える)
・他社の事例(記事や、競合を分析する)
・定性分析(ユーザーに意見をもらう/インタビューから推測する)
・思いつき
私の主観で確度が高い順に並べました。”思いつき”についてはいいでしょう。説明は割愛します。
これから改善を始めるのであれば、数字はまだない状態の可能性が高いので、最初は事例や定性分析から仮説を立てることがよいと思います。
定量分析
数字から考えて仮説を立てる方法になります。
主にサイト内での数字や他社の数字を分析して、なぜこの数字なのかを掘っていくことで、仮説に発展させます。一番取得しやすく、仮説の立てやすい数字は社内でのABテストの結果です。ABテストを行って、originalとchallengerを比較して数字の変化を分析し、その変化を考察するのが一番簡単だと思います。分析する数字を集めるためにするABテストも場合によってはアリだと私は考えています。その場合、結果のパターンをいくつか想定して、パターンごとに後の動き方を固めておかないと、ただやっただけになる可能性が高いです。
よく勘違いしている人が多いので言いますが、定量分析は数字が2つないと正しい分析はできません。例えば、「このサイトのCVRは1.5%です」と伝えられても、仮説には発展しません。「競合のCVRは2%で、このサイトは1.5%です」という比較対象の情報があって初めて「競合のサイトにあって、このサイトにない要素がCVRをあげているかもしれない」という仮説に発展することができます。なので、数字は2つ比較して初めて仮説に発展するのだと理解しておいてください。施策を設計する上で、これは非常に重要な考え方です。振り返るときに数字が一つでは分析できませんので、比較対象をどれにするかを考えておきましょう。
定性分析
主にユーザーに対してアンケートを行ったり、サイトを触ってもらったりすることで、得られる意見を参考に施策を考えていきます。
ユーザーアンケートの取り方に関しては、いずれ記事にしようと思いますので、記事にしたらリンクを貼ります。(リンクがなければ、まだ記事にしていないです)
ただこれは、確かな数字ではありません。あくまで1意見ですので、確度は下がります。意見をいただき仮説を立ててABテストで確かめて、定量分析に昇華させていくものだと認識しておきましょう。
ネタって尽きない?
私は尽きたことがないです。おそらくですが、尽きている人の多くは一つ一つの施策の振り返りが甘いことが多いです。今まで施策を多く回して、一つ一つをちゃんと振り返ったのであれば、ユーザーのインサイトがだいぶ見えているはずです。そのインサイトを考えれば、まだまだ出てくるはずです。それでも出てこない人は、先述した仮説の思いつき方で、自分に足りていないものを探しましょう。同じ土俵に立つ競合の中で一番高いCVRを出していない限りは出てくるはずです。
テスト設計の仕方
実証する仮説は明確か？
実証する仮説を言語化します。
実証する仮説はほとんどの場合「AのユーザーにBを見えることによって、Cという気持ちの変化を起こしDの行動を起こさせる(起こす割合を高める)」というものになるはずです。
特に仮説が拙い人はこのCの部分をおろそかにしがちです。
他の要因が入り込まないように施策を設計する
テストをする際には、検証したい内容以外は、条件を全く一緒にします。
たまに複数部分を変更する方もいらっしゃいますが、施策ごとにKPIを設定して、別々に評価できる場合なら、それぞれの判断ですが、KPIを分割できないのであれば、同時進行はよくないです。
理由に関しましては冒頭にお伝えした通りです。
仮にKPIを分割できる場合でも相互に影響しあって、狙い通りの効果が発生しない可能性も0ではありません。
そこに関しては当事者の判断で行えば良いと思います。事業の事情も考慮してスピードを重視するか正確性を重視するかは、それぞれ次第だと思っています。
KPI設定-どの数字がどう動いたら成功か-
さきほどからKPIという言葉を使っていますが、テストごとにKPIを設定して、この数字を動かすということをあらかじめ決めておく必要があります。
この数字が、どうなっていればどういう判断ができるということを決めておかないと、テストの振り返りをするときに、判断を迷うことがあります。
テストが終わったあとは？
ABテストが終わった後は、必ず振り返ります。KPIがどうなっているかの確認はもちろんですが、他にも変化した数字がないかも確認すると、なおよいです。
まとめ
いかがでしたでしょうか？
サイト内の改善というのは、広告を出稿している方はわかると思いますが、非常に重要です。広告運用においてCVRは特に重要な指標であり、その大部分を担うのはサイトだからです。
またサイトはアセット(資産)とみなすこともできます。CVRは今月改善すれば、その改善率は来月も引き継がれます。解約しない受注先のようなものです。
また改善する途中で得たユーザーインサイトに関する知見は、失われなければ、他の施策への転用も可能となります。