DataCello Proで使える分析です
このガイドの検定実行には DataCello Pro が必要です。データの読み込みや概要確認は無料範囲で試せますが、分析を実行する段階でProが必要になります。
データには、AとBのちょうど2種類を持つグループ列と、数値型の注文額列が必要です。1行を独立した1観測として扱えるかも事前に確認します。
t検定を設定する
- A/Bデータセットを選び、上部の
分析タブを開いて仮説検定を選びます。 - 検定手法のメニューで
t 検定を指定します。 ターゲットへ注文額、グループへA/Bを表す列を指定します。- 画面上部の実行チェックリストに不足がないことを確認し、
実行を押します。
DataCelloのこの分析はWelchのt検定を実行します。2群の分散が同じだと仮定する通常のStudentのt検定とは設定が異なります。
p値と効果量を一緒に読む
結果では、検定統計量とp値だけでなく、Cohen's d、各グループの件数・平均・中央値・標準偏差、箱ひげ図を確認します。
- p値は、差がないという仮定のもとで観測結果以上が得られる確率に関係する指標です。
- Cohen's dは、平均差の大きさを標準化して見るための効果量です。
- グループ要約と箱ひげ図は、外れ値やばらつきを含む実データの形を確認する材料です。
判断時の制約
検定結果だけで施策の因果効果が保証されるわけではありません。ランダム割り当て、計測期間、重複ユーザー、途中離脱、サンプルサイズを別に確認してください。対応のある観測を扱うペアt検定は、この手順の対象ではありません。