データ量が少ないと割合がブレる問題への対応方法まとめ

Post date: Oct 27, 2017 2:48:29 AM

直帰率やコンバージョン率といった割算の指標が、データ量が少ないと高すぎたり低すぎたりと極端な値になってしまい、分析の邪魔になる問題に対処する方法についてのまとめ。

アプローチ１：加重する

1-A. 加重した結果で並び替えする

Google Analyticsの場合、割合の指標を並び替える際に、加重の計算を行うオプションを利用できます。

加重後の値は並び替えの基準として内部的に使われるだけで画面には表示されませんが、恣意的に改変された値は分析の用途としては意味をなさないので、良いUIだと思います。

ただし、アルゴリズムがわかりにくく、変更できない、というデメリットがあります。

特徴

• • 加重のアルゴリズムを変更できない

  • 加重後の値は表示されない

1-B. 加重した結果を別の指標とする

Adobe Analyticsの場合、昔は、列の合計値を使って計算指標を作るのが主流でした。

参考：https://blogs.adobe.com/digitalmarketing/uncategorized/advanced-content-analysis-weighted-bounce-rate/

計算式を確認・変更できるのは良いですが、このように単純な計算式だと全体的に値が変わってしまうので、分析の際は注意が必要です。

無意味な「100%」はゼロになりましたが、2行目の「88.66%」も「6.9%」になってしまいました。これは直帰率とは言えないので、取扱注意です。

特徴

• • 加重のアルゴリズムを変更できる

  • 加重された値を並び替え以外の用途（分析）で使う際は注意が必要

アプローチ２：足切りする

問題なのは値がブレた一部のデータだけなので、全体的に加重するのではなく、無意味な値を消し込んで無効にする、というアプローチです。

2-A. 絶対値で足切りする

「訪問が10以下」など、特定の指標が一定の値に満たない場合の値をゼロに変更します。

特徴

• • 無意味なデータのみ消し込むことができ、分析のミスが減る

  • データの分布が変わった場合に下限値の変更が必要

2-B. 割合で足切りする

Adobe Analyticsの計算指標で使える関数が増えたので、パーセンタイルで相対的に下限を設定できるようになりました。値の分布が時期によって変動する場合に便利です。多くの場合は、この方法がベストでしょう。

計算指標の作り方

• 1. 関数の「IF（次の場合：）」をドロップ

• 1. 関数の「GREATER THAN（次の値を越える）」をドロップ

  2. 「metric_X（指標1）」に、訪問回数やページビュー数など、絞り込む基準とする指標をドロップ

  3. 「metric_Y（指標2）」に「パーセンタイル」をドロップ

  4. パーセンタイルに3と同じ指標をドロップし、kには上書く範囲の割合（下から5%の範囲なら5）を「静的な数値」として指定

• 1. IFが真の場合の値として直帰率やCVRなど元の指標を指定

  2. IFが偽の場合の値として静的な数値「0」を指定

特徴

• • 無意味なデータのみ消し込むことができ、分析のミスが減る

参考：http://analyticsdemystified.com/adobe-analytics/creating-weighted-metrics-using-percentile-function/

計算指標の関数は他にも色々あります。ヘルプがわかりにくいので、試しながら挙動を理解すると良いでしょう。