A/Bテストで正しい統計手法を選択する方法：線形回帰とその他のツールの比較ガイド

超越表面：为什么線形回帰は依然注目に値するのか

機械学習と深層学習の波の中で、私たちはしばしば古典的で強力なツールである線形回帰を見落としがちです。LLMや高度なアーキテクチャが注目を集める一方で、線形回帰はデータ分析において依然重要な役割を果たしており、特にA/Bテストのシナリオで有用です。

実際のケースを考えてみましょう：あるEC企業が新しいバナーを導入し、その効果をユーザーの平均セッション時間に対して評価したいとします。実験データを収集し統計分析を行うことで、さまざまな解釈方法を探ります。

T検定の迅速な洞察

まずは古典的なT検定を出発点とします。実験結果は有意で、処理群と対照群の平均値の差は0.56分、つまりユーザーは平均で33秒長く製品に滞在したことを示しています。

この指標は良さそうに見えますが、これが本当にバナーの実際の効果を反映しているのでしょうか？

線形回帰：深掘り

次に線形回帰を用いて再分析します。処理変数（新バナーの表示有無）を説明変数、セッション時間を目的変数とします。モデルの概要は何を示しているのでしょうか？

処理変数の係数はちょうど0.56で、T検定の結果と一致します。面白いのは、決定係数（R平方値）がわずか0.008であり、このモデルはデータのわずかな分散しか説明していないことです。

これは偶然の一致か？違います

なぜこの2つの方法は同じ結果を導き出すのでしょうか？その答えは、それらの数学的基盤にあります。

線形回帰では、処理変数が1のとき、そのユーザーの平均セッション時間を表し、0のときは未処理のユーザーの平均値を示します。したがって、処理係数は実質的に2つのグループの平均値の差です。

一方、T検定の帰無仮説（2群の平均に差がない）は、線形回帰の処理係数の帰無仮説と完全に一致します。帰無仮説が同じなら、両者の計算するT値やP値も必然的に一致します。

なぜ線形回帰を使うのか？

単純な平均比較だけでも十分に見えますが、実世界はそれ以上に複雑です。

実際、処理変数だけでは全ての変動を説明できないことが多い—系統的な偏りが存在するためです。例えば：

• 古いユーザーは新しいバナーに頻繁に接触する
• 異なる人口統計学的特徴を持つユーザーはバナーに対する反応が異なる

ランダム割り当てによってこれらの偏りは緩和されますが、完全には排除できません。そこで必要なのが**コントロール変数（共変量）**です。

モデルに、実験前のユーザーの平均セッション時間をコントロール変数として加えると、モデルの性能は即座に向上します。R平方は0.86に跳ね上がり、これで86%のデータの分散を説明できることになります。

新たな処理効果の推定値は0.47分です。

どちらの数字がより正確か？

今、2つの異なる処理効果の値：0.56と0.47が出てきました。どちらが実際の値に近いのでしょうか？

実データのシミュレーションでは、実際の処理効果は0.5に設定されています。明らかに、コントロール変数を加えた後の0.47の方が実値に近く、誤差はわずか0.03です。これは、重要な共変量をコントロールすることで推定の精度が大きく向上することを示しています。